想在自己电脑上跑 AI,麻烦往往不在模型,而在安装和连接一堆工具。ODS(Osmantic Deployment System)想把这件事变成一次部署:它会把本地模型推理、浏览器聊天界面、语音、Agent(能调用工具完成任务的 AI)、工作流和图像生成接到同一套系统里,让 PC、Mac 或 Linux 电脑成为家庭或小团队可用的私有 AI 服务器。
其中也包括 RAG——先从你的文档中找出相关内容,再交给模型回答。项目称,默认无需云服务或订阅,提示词与数据留在本机,也可自行启用云端或混合模式。安装后可从本地网页统一管理模型、服务、GPU 状态和扩展。不过它并非真正“零准备”:材料注明必须先安装并启动 Docker——一种封装和运行多项服务的工具;Windows 还需 Docker Desktop 与 WSL2。当前稳定版为 v2.6.0,项目建议日常或近生产环境固定使用带标签的版本,而不是变化较快的 main 分支。