像让学生猜老师下一句话:若练习册本来就是老师亲自写的,复杂的“揣摩老师”技巧,未必还能比照着答案练强多少。这篇论文重新核算了推测解码——小型草稿模型先生成一串 Token(文本单位),再由大模型并行核验——究竟该怎样训练草稿模型。
作者以 Qwen3-VL-8B 为核验模型。使用外部模型写的回答训练时,知识蒸馏(让草稿模型学习大模型的预测分布)相对普通交叉熵,将每轮平均前进的 Token 数提高 14.4%;再加入“只训练可能通过核验的位置”的门控,另增 4.9%。但让目标大模型贪心重写回答后,两项增益分别缩至 3.7%和约为零。原因很直观:重写后的答案已有 95.2%与目标模型的贪心预测一致,普通交叉熵本身就在教草稿模型模仿目标。
作者称,这种缩水在长度匹配、不同核验器和训练设置,以及另一套视觉语料与纯文本复现实验中仍大体存在。结论不是复杂目标无用,而是评估它们时,应把“目标模型重写数据后的普通交叉熵”作为基线,否则容易把数据改写的功劳算给损失函数。