你让一个学生先独立解题，再把标准答案交给“老师”逐句批改。老师知道答案，当然容易指出问题。但麻烦也在这里：它可能只认标准答案里的那条路线，把另一种正确解法也改掉；学生如果已经绕远，老师继续在错误上下文里批注，意见还可能越来越不靠谱。
近期五项工作围绕这个问题给出了不同答案。它们共同指向一个变化：on-policy distillation（OPD，学生先生成自己的回答，教师再沿着这条实际路径逐词提供反馈）正在从一项训练技巧，变成一套关于教师信息、介入时机和反馈可靠性的设计框架。
其中三项属于严格意义上的自蒸馏，即同一模型或同一模型家族同时扮演学生和教师；另外两项使用外部教师。后者能说明教师如何介入，却不能直接证明自蒸馏有效。除 MASS 外，其余材料主要来自论文摘要；各项效果也尚不能视为独立复现。
答案给得太全，也会教坏学生
自蒸馏常让教师看到 verified solution——经过验证的正确解答，也就是学生推理时拿不到的“特权信息”。这样能提供细密的逐词监督，却有信息泄漏风险：教师可能过度贴合眼前这份解答，而不是判断学生当前还能怎样合理地继续。
MASS 的做法像把标准答案复印多份，每份遮住不同段落，再请同一个老师分别批改。它从一份正确解答生成多个独立 masked views（遮挡视图），汇总各个教师版本的预测。这样不必为每道题准备多份正确解法，也能降低单一路线对监督的支配。
但多听几位“蒙着不同段落的老师”并不保证意见可靠。MASS 因此给每个位置的纠偏信号估计权重：如果多个遮挡视图给出的修正强、稳定，便多学一些；如果差异更像有限采样产生的噪声，就少学或不学。它还会逐渐提高关键答案片段被遮挡的概率，让教师不能总靠最有提示性的句子作答。完整答案仍会作为判断修正方向的参照，却不直接混入最终训练目标。
这一区别有实验支持。在 Qwen3-4B 上，把完整答案教师也加入目标后，AIME 2025 的 Avg@12 准确率从 73.89%降至72.50%；OLMo-7B 上则从75.00%降至73.89%。Avg@12 指每题独立生成12条推理，统计其中答对的比例。
在三项数学基准的平均结果中，MASS 分别把 Qwen3-1.7B、Qwen3-4B、Qwen3-8B 和 OLMo-7B 做到46.39%、67.69%、73.24%和68.1%，均高于论文比较的 OPSD、AVSD 与 RLSD。以 Qwen3-4B 为例，直接使用完整答案教师的 OPSD 为62.68%，MASS 高出5.01个百分点。消融实验也显示，可靠性加权和自适应遮挡单独都有贡献，合用成绩最高。
更值得注意的是训练走势。论文报告，普通 OPSD 早期进步快，却较早见顶并随后退化；MASS 起步较慢，后程继续改善。它也较少压缩带有“wait”“perhaps”一类不确定表达的推理过程。作者把这些现象解释为：教师不再把一条参考路线说得过于笃定，学生因此保留了重新考虑的空间。
老师何时插话，比插了什么更重要
长回答还有另一种麻烦。学生越写越远，后半段的前缀可能早已偏离教师自己的推理。教师此时仍逐词评价，就像拿着正确地图点评一个已经走进岔路的人：单句建议未必能把整条路线救回来。
ATI-OPD 使用外部教师，在师生最早出现高分歧的位置替换一小段学生推理，再让学生从修订后的文字继续生成。如果后面再次持续分歧，它不把整个回答丢掉，而是把那段后缀排除在蒸馏损失之外。论文摘要称，这减少了师生分歧、梯度尖峰和极长回答，并在五个数学推理基准、两组师生模型上提高了相对标准 OPD 的平均学生准确率；摘要没有披露具体增幅。
另一项 teacher bridge（教师桥接，即教师插入一小段过渡文字，把偏离的推理拉回可继续位置）研究给出了必要的冷静。它在 Qwen3-1.7B 学生与 Qwen3-4B-Instruct-2507 教师的短程训练中，把桥固定放在学生第一段之后。无论桥只作上下文，还是用 forward KL、reverse KL 两种方式训练，梯度方向都相近，BF16 推理下的准确率也在正负5个百分点范围内统计等价。这里的 KL 是衡量两套概率分布差异的训练目标。
研究者曾在探索性试验中把桥放到失败回答与教师分歧最大处，并观察到收益；预注册复现实验却没有确认，给教师片段四倍权重也未产生显著增益。因此，这项结果不能写成“教师 token 监督无用”。它只说明：在这组模型、短训练、固定插入位置和 BF16 推理条件下，桥本身没有带来可检出的额外准确率收益。
ATI-OPD 与桥接实验表面上有张力，其实干预方式不同。前者寻找最早的高分歧点并改写前缀，后者主要测试固定位置。两者放在一起，更像是在提示：老师不是插话越多越好，能否在分歧真正形成时出手，可能比预先规定一个位置更关键。
老师自己也要继续学习
TESD 把问题再推进一步：如果 self-teacher 本身会给出不可靠指导，就不能把教师当成永远正确的固定角色。它让自教师生成回答，并根据任务是否正确、回答是否独立于特权上下文获得环境反馈。一部分反馈用于持续优化教师；另一部分用于估计指导可靠性，对不可靠样本降低权重。论文摘要称，TESD 在多个数据集和模型规模上持续优于代表性的逐词与整段训练方法，但没有披露效应量。
WISD 则把方向倒了过来。它不向教师提供答案或额外上下文，而是通过 low-bit quantization（低比特量化，用更低精度表示模型参数）或 magnitude pruning（幅度剪枝，删去幅度较小的参数）造出一个更弱版本，再利用强弱模型之间的差异训练原模型。论文报告，量化与剪枝相对原模型平均提高4.0和5.5个百分点；其中剪枝把 Qwen3.5-4B 在 HMMT 2025 上从57.7%提高到70.5%，在 LiveCodeBench v6 上从39.1%提高到56.7%。这些大幅增益目前仅来自论文摘要，评测协议、采样次数和准确率定义仍需核对。
真正的变化，是开始管理教师
五项工作并没有给出一个统一的最佳配方，却把同一套判断逐渐补齐：MASS 决定教师该看多少答案；ATI-OPD 决定何时改写学生路径；桥接研究提醒固定插话未必有效；TESD 让教师随训练演化；WISD 则表明，没有特权信息时，也可以通过人为制造强弱差异获得监督。
这正是它们值得同时看的原因。自蒸馏的核心问题已不再只是“能否让模型教自己”，而是怎样约束这位老师：别把答案泄露成唯一道路，别在学生彻底走偏后继续强行批改，也别把不可靠意见一视同仁地写进参数。
局限与未知
- 除 MASS 外，多数材料未给出完整实验数字；“持续优于”等结论仍是各论文自己的摘要表述。
- MASS 需要运行多条遮挡教师路线，会增加峰值加速器内存占用；当前实验也主要集中在推理任务。
- 固定桥接实验受短程训练、BF16 舍入及 FP32 下频繁触及长度上限影响，不能外推为教师桥接普遍无效。