让 AI 在几个选项里做判断，应用通常还得先让它生成文字，再自行解析答案。vLLM 现在加入 /v1/systemone 端点：应用提交一段状态、问题和允许的答案，服务器直接返回每个答案的概率。vLLM 是常被用作应用后端的开源大模型推理引擎；这项能力进入它，意味着相关模型或工作流更容易接入现有服务。
具体来说，服务器会为每道题读取模型接下来一个 token 的倾向。Log probability——模型给候选 token 的对数概率——经过归一化后，就变成限定选项间的概率分布。多道题共享系统提示和状态，vLLM 可借助前缀缓存只处理一次共同内容。当前每次请求最多支持 64 道题，单题最多读取 128 个候选 token。
接口目前只注册了 choice 选择题类型；未知字段会返回 400 错误。它还不支持 diffusion models，且只在模型具备文本生成能力时提供。换句话说，这次合并先打通了结构化决策进入主流推理栈的路径，但适用题型和模型范围仍有限。