同一道数学题,多检查几遍的人,往往能发现第一遍的疏漏。LoopOPD 把这个直觉放进循环语言模型(LoopLM)训练:模型不靠增加参数,而是让同一套参数反复运行;较深轮次因为多算了几遍,就充当老师,指导较浅轮次。
具体来说,学生先按自己当前的推理路线生成答案,最后一轮再针对相同上下文,逐个词给出更细的反馈。这叫在策略蒸馏——训练紧贴学生眼下真正会走的路线,也不需要外部大模型当老师。升级版 D-LoopOPD 还会在每次参数更新后刷新“最后一轮老师”,形成跨轮自我改进。
作者在 Ouro-2.6B-Thinking 上报告,D-LoopOPD 将最后一轮的 AIME 2024 Avg@16 从 62.08 提高到 71.67,各轮深度也都有提升。它只用数学数据训练,却在通用推理和代码生成测试上同样改善。结果尚属作者自述,但它补上了“少参数、多计算”路线的一块关键拼图:多出来的计算不仅用于答题,也能反过来成为训练信号。