你在语言学习应用里答完一句话,系统要立刻判断:发音是否过关、下一题该难一点还是简单一点、要不要补充提示。这里并不需要 AI 写一篇文章,只需要它快速做出选择。OpenAI 新开放的 Decisions API,瞄准的正是这种高频、短促的后台判断。
API 是软件之间按约定格式互相调用的接口。开发者可以把它接进分类、排序、路由和审批流程,不必让员工打开聊天窗口。OpenAI 官方把这项服务概括为“快速、专注、低成本”;不过,目前公开的价格、测试条件和完整技术资料仍然有限。本文涉及的发布日期、性能和客户案例,主要来自 TechCrunch 的单篇报道。
它不是更会聊天,而是少说、快选
判断模型(decision model)不以自由生成长文为主要目标。给它几个预设选项,它选择其中一个,也可以为候选项评分或返回概率。程序拿到结果后,就能自动执行下一步。例如把客服请求分给不同团队,给商品排序,或把低把握的审核案例交给人工。
这里常出现“置信度”:它表示模型对各个选项的相对把握,可以辅助排序,却不天然等于现实中的准确概率。“System One”则借用了认知科学中快速、直觉判断的说法,强调低延迟、高频选择;它是产品定位,并非定义严格统一的模型类别。
本刊 10 月 11 日介绍 Jev 时,已经提到 OpenAI Decisions API 入场。新的进展是,OpenAI 在 9 月 29 日开发者大会公布这项服务后,于 10 月 22 日向所有客户开放。公开版本还加入语音和视觉输入,并把推理资源部署得更靠近不同地区的用户,以降低通信和处理延迟。
关键动作是“重新调校”
据 TechCrunch 报道,OpenAI 这次没有专门训练一个全新的决策模型。团队重新配置了 ChatGPT Luna,让它减少推理延迟和成本。换句话说,这更像把一辆通用汽车调成频繁起停的城市通勤车,而不是从零设计新车型。因此,Decisions API 是对外调用的产品接口,Luna 是底层经过调整的模型配置,两者不能混写成一款全新训练的模型。
OpenAI API 产品负责人 Nikunj Handa 称,这种配置把原先 1—3 秒的处理时间压缩到 100、120 或 180 毫秒。语音学习应用 Speak 的 CTO Andrew Hsu 则称,公司试用后把两次操作之间的等待从 1.4 秒降到 0.13 秒。Box、Datadog、Ramp 和 Speak 都参加了早期试用,用它替换部分 OpenAI 大语言模型工作负载,以提高吞吐量——也就是同一时间能处理更多请求。
这些数字能说明方向,却不能直接视作普遍性能:报道没有交代 100、120 和 180 毫秒分别对应什么任务、地区、统计口径或测试条件;Speak 也只是一个客户案例。
为什么这条产品线值得看
通用聊天模型擅长处理开放问题,但大量企业调用其实只想得到一个短答案:通过还是拒绝,排在第几,交给哪个流程。若窄任务可以用更少时间和成本完成,企业就没有必要每次都调用完整的长文本生成能力。模型市场因此可能从“一个模型包办所有事情”,转向按任务拆分:生成交给生成模型,判断交给更轻、更快的服务。
竞争已经开始。TypeSafe 的 Jev 被描述为“super classifier”,即在既定选项中快速选择并给出置信度的强化分类器。TechCrunch 列出的当时榜单显示,在 AIM System One Index 和 Artificial Analysis Decision Index 上,最新版 Jev 分列第 7 和第 3,OpenAI 的 Decision Model 分列第 8 和第 14;D1 Ultra 与 Elephant-1通常更靠前。不过,榜单会随时间、任务和指标变化,材料也没有提供测评方法,名次只能当作市场快照。
局限与未知
- OpenAI 尚未公开足以独立比较的价格、能耗、测试设置和不同任务准确率,“低成本”目前主要是产品定位与单一报道中的说法。
- 不同工作负载需要在能力、速度、成本和置信度校准之间取舍。哪款模型更好,仍要放进实际流程测试。
- OpenAI 提到未来可能进行专门训练,也设想把延迟进一步降到约 60 毫秒,但这些仍是未来方向,不是已经交付的能力。