Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.114 — 2026-10-26
PAPER H 3 · HF 15 约 1 分钟

推理模型的“等等”并非RL发明

“wait”式自我修正多半继承自预训练,RL能放大它,却很少凭空创造它。

推理模型答题时,常写下“wait”再回头检查,像人算到一半突然说“等等”。这种表现常被视为强化学习(RL——根据答案得分调整模型行为)教出的“顿悟”。这项工作追踪多个开放模型的训练历程,提出一个更克制的解释:RL或许会放大这种语言习惯,却很少凭空发明它。

最关键的对照是,研究者从原本几乎不用“wait”的基础模型出发做RL。在18次训练中,17次的“wait”频率仍低于每千个生成词元0.05次,但MATH-500数学题集的准确率中位数提高了42.9个百分点。换句话说,模型可以明显变会做题,却不必学会说“等等”。相反,在同一类基础模型上用推理过程文本做微调后,14个模型中有13个开始使用它。

研究还向正确推理中人为注入算术错误,观察模型是否在随后两句话内发出修正信号。结果显示,不同RL方法会放大、削弱甚至抹去已有标记。因此,“wait”出现得多,不能单独证明RL创造了新的推理能力;它更可能来自预训练——模型先从海量文本学习语言与知识——或后续读到的推理样例。


供稿材料 SOURCES — 1

← 返回 2026-10-26 · 学术板块