你让一个学生自己出练习题、自己写解答，再拿这些材料复习。听起来很省老师，但问题也很明显：如果题目本身有歧义，或者答案一开始就是错的，学生可能只是把错误练得更熟。
Leon Sick 等人提出的 On-Policy Self-Training（OPST，同策略自训练），正面处理了这个风险。它让大模型自己出题、自己生成解题线索，再用当前版本模型亲自作答和学习。整个过程不需要人工整理的题库、标准答案或更强的外部教师，只需要“Abstract Algebra”这类粗粒度主题名称。
这项工作值得现在看，是因为后训练——基础模型完成大规模预训练后，用更有针对性的材料继续调整能力和行为——一直需要大量“新教材”。OPST 追问的是：这批教材能否由模型自己生产，同时不把已有能力练坏？论文给出的初步答案是可以，但“Data-Free”这个标题需要打个折扣：它没有摆脱数据，而是把人工任务数据换成了合成题目、答案和推理过程。
关键不是自己答，而是自己教
传统自训练通常让模型解现成题目，再把较可信的答案拿来训练。OPST 又往前走了一步：题目也由模型生成。它从一个宽泛主题出发，同时写出问题、候选答案和推理过程。论文把后两者称为 privileged information——可理解为“教师能看、学生不能看的参考资料”。
这里用到了自蒸馏：蒸馏通常是弱模型模仿强教师，自蒸馏则让同一模型以两种信息条件分别扮演学生和教师。学生只看到问题；教师还看到候选答案与推理线索。两者参数来自同一个模型，能力差距主要不是“谁更聪明”，而是谁掌握了更多上下文。
真正巧妙的一步，是论文没有要求学生直接背下模型生成的答案。教师把这个答案当作参考，再调用模型参数中原有的知识，补出更完整的逐词指导。学生沿着自己实际生成的回答学习教师的下一词分布。所谓“同策略”，就是训练轨迹由当前学生亲自生成；模型更新后，下一轮遇到的练习和错误分布也随之变化。
论文在相同合成数据上比较了三种用法：SFT（监督微调）直接模仿生成答案；GRPO 用是否答对作为较稀疏的奖励；OPST 则把答案交给教师作上下文，提供逐词的密集指导。以带推理的 Gemma 4 E4B 为例，四项测试平均分从 71.3 升至 76.0，增加 4.7 分；SFT 增加 0.9 分，GRPO 的平均分没有提升。Gemma 4 E2B 上，OPST 的平均增幅为 4.6 分，SFT 和 GRPO 分别为 1.9 与 1.7 分。
自己出的题，怎么防止自己骗自己？
OPST 设了两道筛子。
第一道叫 pseudo-verification，即“伪验证”。模型出完题后，要在看不到原始创作意图的新上下文里重新作答；题目还会被换一种说法，再答一次。只有候选答案在这些变化下保持一致，样本才会留下。它检查的是题目是否稳定、是否可能只有一种预期解释，并不等于证明答案客观正确。
第二道是 consensus gate，即“一致性门”。学生会对同一道题尝试多条作答路径。如果每次都能稳定复现候选答案，这题对当前模型已经太简单，训练价值有限，于是被丢弃。两道筛子一边排除不稳定的问题，一边排除已经会做的问题，留下的题更接近模型当下的能力边界。模型进步后，筛选出的课程也会跟着变难。
消融实验说明这两步确实有用。在 Gemma 4 E2B 的 MMLU 测试上，基础分为 37.5；不做筛选的 OPST 达到 42.7，加入伪验证后为 45.4，再加入一致性门后升至 47.7。完整的教师参考资料也很重要：不给 privileged information 时得分为 40.6，只给答案为 44.6，只给推理为 45.8，两者都给则是 47.7。至少在这组实验里，推理线索比最终答案携带了更多训练信号。
错答案没有消失，但伤害变小了
自训练最危险的地方，是模型可能把自己的错误循环放大。论文专门把一部分候选答案替换成错误答案，并关闭两道筛选。错误比例达到 75% 时，OPST 相比无错误设置下降 1.9 分，但仍比基础模型高 3.3 分；直接模仿答案的 SFT 则下降 5.7 分，并比基础模型低 4.4 分。
这不能说明 OPST 能辨别真伪。更准确的解释是：错误答案只是教师参考信息的一部分，而不是必须照抄的训练目标，因此单个错误较难完全主导更新。论文使用 EMA teacher（指数移动平均教师）进一步减缓波动：教师参数缓慢跟随学生，而不是每批数据训练后立刻全盘改变，避免一次噪声更新马上成为下一批数据的教学标准。
它为什么可能改变“数据账”？
在多领域训练中，OPST 同时使用 MMLU、HellaSwag 和 GSM8K 对应的主题，域内平均分提高 7.6 分，距离各领域分别训练的结果只差 1 分。这意味着至少在论文设置下，一套自生成课程可以覆盖多个方向，不必为每项任务重新组织完整题库。
方法也被扩展到图文任务。Visual OPST 不再是严格意义上的“无外部数据”：它需要未标注图片，但不需要人工问题和答案。模型围绕图片自己生成问题、场景描述或空间关系，再进行训练。Gemma 4 E2B 的 VQAv2 准确率从 49.1 提高到最高 56.0；Gemma 4 E4B 从 55.9 提高到最高 59.6。不同参考信息的组合并非总有叠加效果，4B 模型上单用空间信息反而最好。
如果这些结果能够复现，意义不只是少做标注。模型还可能根据自己当前的薄弱处持续改写课程，把后训练从“一次性准备教材”变成动态循环。但论文的结论更接近“放大已有潜在能力”，不是凭空获得新知识，更不能推出模型可以无限递归地自我升级。
局限与未知
- 所有效果目前都来自这篇论文。材料没有提供第三方复现；实验也只覆盖 Gemma 4 E2B 与 E4B 这两档小模型，尚不能判断更大模型是否同样受益。
- 伪验证测量的是前后是否一致，不是真实世界中的正确性。一个稳定的错误仍可能通过筛选。论文也明确承认，OPST 只能放大已有知识。
- 保留旧能力的结果并不整齐。三领域混合训练的域外平均分提高 0.8 分，但 MATH-500 下降 4.9 分；主题名称也由研究者手工选择。训练成本、停止条件以及长期反复自训是否稳定，仍待进一步回答。