像检查一道很长的数学题,未必需要自己从头解完;只要指出某一步可能走偏,原来的答题者就可能继续做对。Woodpecker Distillation研究的正是这条反直觉路径:让较弱模型在强模型的推理链——得出答案前写下的中间步骤——中插入一小段提示,再看强模型能否从这里回到正确方向。
论文最巧的一点,是不让强模型照抄弱模型的提示。研究者在同一个推理前缀后生成多条短提示,按最终答案是否正确分成“有帮助”和“没帮助”两组,再比较它们如何改变强模型接下来每个词的预测,把差异蒸馏——转化为模型可学习的行为——回强模型。作者称,直接模仿提示或修补后的完整解题过程,效果明显较弱。
在仅统计强模型原本答错题目的实验中,插入弱模型提示后,五个数学基准的总体 Pass@16——尝试16次至少答对一次的比例——由24.21升至26.16;AIME 2025上由57.14升至61.90。它说明,发现局部岔路有时确实比独立解完整道题容易。不过这些结果目前来自论文作者自述。