让 AI 给客服消息分流，不一定需要它写一段话。它只要判断该交给账单、物流还是技术团队，并给出各选项的概率。llama.cpp——可在消费级 CPU、GPU 上运行多种模型的本地推理项目——如今新增 /v1/systemone 接口，开始原生服务这类“决策模型”。
决策模型不逐词生成答案，而是在一次前向计算中读完输入，直接完成选择、分级打分或是非判断。官方示例中，一条“重复扣款且无人回复”的消息被判给账单团队，同时返回愤怒程度和紧急度；响应记录的输出 token 为 0。相比还要解析文字回答的聊天模型，这种输出更适合工具路由、内容审核，以及判断 Agent 下一步该做什么。
更值得注意的是接口统一：它沿用 TypeSafe Jev 引入的 System One 格式，现有客户端通常只需更换服务地址。首批支持 Julia-1、Laya、Kev-4B、lev 和可读取图片的 OpenJev。换句话说，过去各自接线的轻量决策模型，正在进入 llama.cpp 的统一本地服务栈。