你跟着一位教练学解题。只看他训练前后的笔记，你知道哪些步骤最后更受偏爱，却不知道变化是一路稳定形成的，还是中途先往东、后来又往西。后一种变化即使留下了终点差值，也未必适合原样照搬。Waypoint-OPD解决的正是这个问题：它在强化学习的起点和终点之间加入一枚“路标”，用训练过程中的方向一致性，筛选要传给学生模型的策略变化。
这里的强化学习（Reinforcement Learning, RL），是让模型生成回答，再依据结果获得奖励或惩罚，逐渐提高高回报行为的概率。论文关心的不是把教师的最终答案交给学生，而是传递RL究竟改变了教师的哪些局部选择。作者报告，这种多看一个中途检查点的办法，在数学与代码推理的六组“领域—学生模型”实验中，都取得了所比较学生方法里的最高领域平均分。
不抄老师的答案，学习老师改变了什么
语言模型每生成一个词，都会给多个候选词分配概率。对数概率只是这些概率的一种便于计算的刻度。假设某个候选动作在RL前后的对数概率分别为 和 ，两者之差
就描述了RL让模型更偏爱还是更排斥这个动作。
已有的Direct-OPD会把这种起点到终点的变化，用在学生自己生成的轨迹上。所谓On-Policy Distillation，是让学生按当前能力继续作答，再请教师在学生真正走到的每个位置提供指导。它比只拿教师预先准备的示范来训练，更贴近学生会遇到的状态和错误。
但端点差分会压平过程。一次正向变化，可能来自前后两段都朝同一方向；也可能是前半段大幅增强、后半段又部分撤回。两者最终可以留下相同差值，可信程度却未必一样。
中途路标只负责判断，不负责教学
Waypoint-OPD保留同一次教师RL训练的三个检查点：RL前的Initial、训练中途的Waypoint，以及训练结束的Final。论文实验中的Waypoint位于第600步，Final位于第1200步，三个检查点均来自Qwen3-4B的同一次领域训练。
学生生成回答后，方法在学生访问过的每个前缀——也就是“已经写出的这一截回答”——挑出学生最可能选择的16个后续token。token可理解为模型处理文字时使用的基本片段。三个冻结的教师检查点分别给这些候选项评分，形成早期变化 与后期变化 。
关键一步是比较两段变化的方向。作者先去掉所有候选项共同升降的部分，只保留相对偏好的改变，再计算两段变化的加权方向一致性。如果早期和后期同向，端点信号获得较高权重；如果方向相反，门控会压低甚至清零这次指导。这里的“门控”，就是一个决定信号放行多少的权重。
值得注意的是，Waypoint本身不是学生要模仿的新老师。真正传递的仍是Initial到Final的端点变化；中途检查点只回答一句话：这项变化在训练前后两段是否相互支持。相较只看端点的Direct-OPD，它增加一个冻结教师检查点和一次评分前向传递，不增加学生采样，也不需要在迁移阶段调用答案验证器。但“一次额外评分”只是相对端点方法的增量，不能理解成整体训练成本很低。
六组实验都赢在平均分，但幅度并不夸张
论文用经过RL训练的Qwen3-4B作教师，以Qwen3-8B、Qwen3-14B和Qwen3-30B-A3B作学生。任务覆盖数学与代码，共六组“领域—学生”设置。对比对象包括普通OPD、OPD2和Direct-OPD等方法。
数学任务上，Waypoint-OPD相对最强平均基线Direct-OPD的提升，在三个学生模型上分别为2.18、1.59和1.89个百分点。21项逐基准比较中，它提高了19项。三种学生的数学平均分分别为56.14、59.20和57.85；其中14B与30B-A3B超过Final教师的56.13，8B则几乎持平。
代码任务上，相对Direct-OPD的平均提升分别为2.66、1.52和1.19个百分点，15项逐项比较全部提高。不过，OPD2仍在少数单项评测上得分更高；Waypoint-OPD的优势体现在每种学生模型的领域平均分，而不是每张表的每个格子都领先。
消融实验也给出了较直接的支撑。在Qwen3-8B数学任务上，完整方法平均分为56.14；去掉门控后降至53.50，把门控权重随机分配给别的前缀则降至51.20。后者比完全不用门控更差，说明重要的不只是“有一组权重”，还要让权重对应产生它的那个回答位置。去掉批次尺度归一化后，平均分为55.22，仍高于Direct-OPD的53.96，表明归一化提供了额外收益，但不是全部优势的来源。
为什么这件事值得关注
这项工作的价值，不只是又设计了一种蒸馏损失。它改变了判断训练信号的角度：最终发生了什么，不一定足以说明这个变化是否稳定；训练途中留下的检查点，也可以充当证据。
而且这种证据来自教师自身的RL轨迹，不要求重新训练教师。它也不强迫学生复制教师的完整概率分布，而是在学生实际走到的位置，选择性地传递教师被RL改变的方向。对于已经付出成本完成一次教师RL训练的场景，这提供了一种复用中间产物的办法。
局限与未知
- 论文的教师与学生都属于Qwen3系列，并共享兼容的tokenizer。跨模型家族、词表不兼容时能否保持效果，现有材料没有证明。
- “六组设置最高”是作者在给定基线、数据和评测方式下的结果，不代表普遍优于所有蒸馏方法。门控消融也只覆盖Qwen3-8B数学任务，不能直接外推到其他规模和代码推理。
- 作者明确提醒，方向一致并不保证监督一定正确。Waypoint-OPD判断的是一项偏好变化是否前后一致，而不是它是否符合事实或最终会带来正确答案。