你请一位高手辅导学生做题。学生每写一步，老师都在旁边说：这个词该保留，那个词该改。听起来比只看最终答案细致得多。问题是，学生可能走上老师从没走过的解题路线。老师此时给出的逐步意见，未必正确，甚至可能把正确答案往回拉。两项同期研究都盯上了这个问题，却得出了一组值得放在一起看的结论：老师确实可能教错，但这些错误究竟伤不伤学生，答案并不一致。
老师为什么会看不准
知识蒸馏，是让较小的“学生模型”模仿较强的“教师模型”。学生不只学习最终答案，也学习老师对下一个词的偏好。在策略蒸馏（On-Policy Distillation，OPD）更进一步：学生先按自己当前的策略生成回答，老师再沿着学生实际写出的文字前缀，逐个 Token——也就是模型生成文字的基本单位——给出监督。
麻烦就在这里。学生写出的路线对老师而言是“离策略”（off-policy）的：它不是老师自己会自然生成的路线。老师站在陌生岔路口评价下一步，未必还像评价自己的解法那样可靠。
S1《Does On-Policy Distillation Really Distill?》用 Qwen3-1.7B 做学生，并让不同规模的 Qwen3 模型担任老师。研究者只检查可自动验证的最终答案 Token：如果正确答案得到负向指导，或错误答案得到正向指导，就记作噪声。按这一定义，4B、30B-A3B 和 235B-A22B 教师的总体噪声率分别为 30.6%、34.7% 和 50.6%。最大教师对正确答案也几乎总给负向信号：比例为 97.8%。作者将这种现象归因于师生分布差距扩大，而不是说大教师整体能力更差。
但更反直觉的结果在后面。S1 分别保留全部轨迹、剔除带噪轨迹，以及只用带噪轨迹训练，三种设置经过相近训练步数后表现接近。换句话说，至少按这篇论文对“噪声”的定义，学生似乎没有那么在意老师说得对不对。
学生也许不是在“听课”
S1 随后追问：如果老师的具体判断并不关键，OPD 的增益到底从哪来？
答案指向学生自己最犹豫、也最不常选择的那些 Token。模型会给每个候选词一个概率。低 log-probability Token，就是模型原本认为不太可能、却在随机采样中被选中的词。论文发现，OPD 的有效学习主要集中在这部分 Token；学生本来就很确信的高概率 Token，即使换成随机指导，也几乎不带来改善。
更关键的是，研究者把老师给出的细粒度评价统一替换成一个固定的负向信号，仍得到与标准 OPD 相近的表现；固定正向信号反而导致训练崩溃。作者据此提出一种解释：OPD 的不少收益可能不是“复制老师的知识”，而是在压低学生偶然抽中的低概率尾部选择。
这像是写作时删掉明显别扭的岔句。编辑未必需要告诉你唯一正确的下一句，只要持续压低那些不靠谱的续写，剩余选择就会重新竞争。
基于这一观察，S1 提出 On-Policy Self-Adaptation（OPSA，在策略自适应）。它不再调用教师，也不使用标准答案或外部奖励，而是更新学生生成内容中 log probability 最低的 20% Token，并一律施加负向信号。信号强度由“熵”调节——熵表示模型在某个位置有多犹豫；候选越分散，熵越高，负向更新越强。
OPSA 并非简单地让模型处处变得更保守。它压低尾部 Token，同时在几个较可信的头部 Token 之间重新分配概率。在高熵的推理岔路上，这可以保留不同方向；在低熵位置，模型原本确信的选择通常不会进入训练。论文的消融实验也显示，遮住包含“wait”“but”等反思词的岔路位置后，原先出现的回答变长与准确率提升大多消失。
按 S1 报告，Qwen3-1.7B 在 AIME24 上的 Avg@32——每道题生成 32 次后的平均正确率——从 13.44 提高到 48.85，绝对增加 35.41 个百分点，相对增幅为 263.5%；相比标准 OPD 的 32.08，又高出 16.77 个百分点。三个数学基准上的 Pass@32——32 次尝试中至少答对一次的比例——也都达到基础模型的两倍以上。这些结果均来自论文作者，尚无独立复核。
另一篇论文说：错话仍会伤人
S2《When Teacher Guidance Misleads》同样发现，教师对学生路线的指导可能与最终结果冲突。但它采用的是另一种判据：比较整条轨迹的蒸馏回报与 outcome reward——只看答案是否正确的结果奖励——是否一致。如果更新会把学生推离正确轨迹，或推向错误轨迹，就把这条轨迹过滤掉。
这套方法名为 Reward-Aligned On-Policy Distillation（RA-OPD，奖励对齐的在策略蒸馏）。作者称，它不增加额外计算成本；在 Qwen3 与 DeepSeek-R1 系列模型的七个数学基准、三个代码基准上，显著优于标准 OPD及其他受测变体。
这与 S1 的“学生对噪声不敏感”形成张力，但还不能直接判定谁推翻了谁。S1 检查的是最终答案 Token 上，教师信号的正负是否与答案对错冲突；S2 检查的是整条轨迹的蒸馏回报是否与结果奖励一致。两种“教错”并不是同一把尺子。一种局部噪声可能无伤大雅，另一种足以改变整条轨迹方向的错位指导，则可能真正拖累训练。
为什么值得关注
这两项工作共同拆开了一个容易被忽略的问题：学生变强，不等于老师的能力被完整传了过去。增益可能同时来自三股力量——教师提供的偏好、学生对自身低概率选择的修剪，以及最终奖励对训练方向的约束。
它们给出的工程方向也不同。S1 走得更激进：既然固定负向信号已能复现不少收益，不妨去掉老师，让学生依据自身不确定性调整。S2 则保留老师，但给老师的意见加一道结果校验，只接受与正确方向一致的轨迹。一个在问“老师是否必要”，另一个在问“怎样让老师少带错路”。
局限与未知
- 两篇研究对“不可靠指导”的定义不同，现有材料不足以解释为何过滤在 S1 中影响不大、在 S2 中却带来明显收益。
- S2 材料只有摘要，未披露逐项分数、方差、显著性检验及“无额外计算成本”的核算细节。
- OPSA 的具体增幅、跨模型泛化与教师规模越大噪声越多，均来自 S1 单一论文；它们提示一种机制，但不足以断言所有 OPD 都不需要教师。