Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.110 — 2026-10-22
PAPER 约 1 分钟

投机解码接收更多,未必更快

有损投机解码虽能多收草稿词,却可能把回答拉长,抵消加速收益。

就像抄近路却多走了几公里:AI 每轮生成得更多,不代表整份回答更快完成。这篇论文研究投机解码——先让较小的“草稿模型”猜出一串词,再由较大的目标模型批量检查。系统常用接受率,也就是草稿词通过检查的比例,来估算加速效果;但它没有计算回答最终变长了多少。

问题出在有损验证:它放宽检查标准,接纳目标模型原本不太可能选择的词。作者发现,这些词会改变后续生成路径,主要把推理过程拖长,形成“长度膨胀”。因此,哪怕每轮留下更多词,新增的总词数也可能吃掉节省的计算。更糟的是,有些回答持续推理到耗尽生成额度,反而没留下空间给出最终答案。

作者在数学、代码、聊天和长文本等六类基准上,测试五种无需训练的放宽规则,覆盖 12 组目标模型与草稿模型、共 360 个实验单元。据论文自述,长度膨胀抵消了大部分验证轮数和实测时间收益;真正减少验证轮数的宽松设置,准确率通常也明显下降。结论很直接:评测不能只报接受率,还应同时报告回答长度、验证轮数、实际耗时与准确率。


供稿材料 SOURCES — 1

← 返回 2026-10-22 · 学术板块