一张客户工单,系统既要判断交给哪个部门,又要评估严重程度和回复时限。普通推理框架会把三道题分别跑一遍,像复印三份材料再逐份批改。StartLux开源的 Prism 则专门服务决策模型——这类模型不写长文,只返回选项、分数或概率;推理引擎则是负责把模型放到芯片上运行、调度请求的软件层。
Prism最值得注意的改动,是少做无用功。以27B模型为例,通用引擎会给24.8万个候选词逐一打分,但决策只需在A至Z的26个选项中选择,Prism因此把输出计算缩至原来的0.01%。面对同一材料的多个问题,它还会复用共同部分,只计算各问题新增的内容。据StartLux测试,在单张H200显卡上,单个短问题耗时由53.1毫秒降至19毫秒;同一材料连问三题由92.9毫秒降至17.4毫秒,最高提速5.3倍。优势会随任务变化:约8192 token的长问题仅快1.2倍,64路并发跑满显卡时也收窄至17%—22%。这说明Prism补上的主要是高频、短请求的工程环节,而非让所有任务一概加速。