Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.114 — 2026-10-26
NEWS 2 信源 约 1 分钟

StartLux开源决策模型推理引擎

Prism专为决策模型精简计算,同材料多问自测最高提速5.3倍。

IMAGE — DeepSeek (via Google News)

一张客户工单,系统既要判断交给哪个部门,又要评估严重程度和回复时限。普通推理框架会把三道题分别跑一遍,像复印三份材料再逐份批改。StartLux开源的 Prism 则专门服务决策模型——这类模型不写长文,只返回选项、分数或概率;推理引擎则是负责把模型放到芯片上运行、调度请求的软件层。

Prism最值得注意的改动,是少做无用功。以27B模型为例,通用引擎会给24.8万个候选词逐一打分,但决策只需在A至Z的26个选项中选择,Prism因此把输出计算缩至原来的0.01%。面对同一材料的多个问题,它还会复用共同部分,只计算各问题新增的内容。据StartLux测试,在单张H200显卡上,单个短问题耗时由53.1毫秒降至19毫秒;同一材料连问三题由92.9毫秒降至17.4毫秒,最高提速5.3倍。优势会随任务变化:约8192 token的长问题仅快1.2倍,64路并发跑满显卡时也收窄至17%—22%。这说明Prism补上的主要是高频、短请求的工程环节,而非让所有任务一概加速。


供稿材料 SOURCES — 2

← 返回 2026-10-26 · 科技板块