Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.037 — 2026-08-10
PAPER 约 1 分钟

弱模型也能给强模型挑推理错

弱模型不必解完整道题,也能靠局部试探帮强模型找出推理岔路。

像检查一道很长的数学题,未必需要自己从头解完;只要指出某一步可能走偏,原来的答题者就可能继续做对。Woodpecker Distillation研究的正是这条反直觉路径:让较弱模型在强模型的推理链——得出答案前写下的中间步骤——中插入一小段提示,再看强模型能否从这里回到正确方向。

论文最巧的一点,是不让强模型照抄弱模型的提示。研究者在同一个推理前缀后生成多条短提示,按最终答案是否正确分成“有帮助”和“没帮助”两组,再比较它们如何改变强模型接下来每个词的预测,把差异蒸馏——转化为模型可学习的行为——回强模型。作者称,直接模仿提示或修补后的完整解题过程,效果明显较弱。

在仅统计强模型原本答错题目的实验中,插入弱模型提示后,五个数学基准的总体 Pass@16——尝试16次至少答对一次的比例——由24.21升至26.16;AIME 2025上由57.14升至61.90。它说明,发现局部岔路有时确实比独立解完整道题容易。不过这些结果目前来自论文作者自述。


供稿材料 SOURCES — 1

← 返回 2026-08-10 · 学术板块