推理模型答题时,常写下“wait”再回头检查,像人算到一半突然说“等等”。这种表现常被视为强化学习(RL——根据答案得分调整模型行为)教出的“顿悟”。这项工作追踪多个开放模型的训练历程,提出一个更克制的解释:RL或许会放大这种语言习惯,却很少凭空发明它。
最关键的对照是,研究者从原本几乎不用“wait”的基础模型出发做RL。在18次训练中,17次的“wait”频率仍低于每千个生成词元0.05次,但MATH-500数学题集的准确率中位数提高了42.9个百分点。换句话说,模型可以明显变会做题,却不必学会说“等等”。相反,在同一类基础模型上用推理过程文本做微调后,14个模型中有13个开始使用它。
研究还向正确推理中人为注入算术错误,观察模型是否在随后两句话内发出修正信号。结果显示,不同RL方法会放大、削弱甚至抹去已有标记。因此,“wait”出现得多,不能单独证明RL创造了新的推理能力;它更可能来自预训练——模型先从海量文本学习语言与知识——或后续读到的推理样例。