Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.035 — 2026-08-08
PAPER 约 1 分钟

工具调用也能乱序投机执行

OoO-Spec让小模型并行猜函数与参数,再由主模型核验,加速Agent工具调用。

你让AI查天气时,它通常要像逐字填表一样,先写函数名,再写地点等参数。OoO-Spec想省掉这段等待:工具调用尚未写到参数位置,一个轻量“助手”就先并行猜出函数和各项参数,再把完整草稿交给主模型核验。

这套助手是Qwen3-0.6B。它依据用户请求和工具模式——也就是函数及参数的格式说明——一次预测所有字段;与此同时,主模型继续生成,不必停下来等它。草稿什么时候就绪,就在下一轮候选构造时加入。主模型仍是唯一的裁判,只有核验通过的内容才会采用。换句话说,它乱序计算信息,但最终仍按合法顺序提交工具调用。

值得注意的是,同一个助手无需针对不同主模型重新训练。论文作者称,在Qwen3的4B、8B、14B和32B模型上,它相较ToolSpec平均再提升34.1%;实验采用单请求、贪心解码,并计入助手与通信开销。这个结果说明,投机解码——先起草、再批量检查——不只适合普通文本,也能利用工具调用本身的结构来提速。


供稿材料 SOURCES — 1

← 返回 2026-08-08 · 学术板块