你让学生反复做题、按答案打分，通常能让他更熟练；但如果他根本不会矩阵求逆，多做几轮也未必有用。语言模型的强化学习也有类似边界。Xinyi Wang 和 Danqi Chen 的这项工作没有继续改奖励规则，而是先找出模型究竟卡在哪里，再回到预训练语料里定向“补课”。它值得关注，因为它把“强化学习只能放大底模已有能力”从一句判断，变成了一套可以操作的数据筛选办法。
这里的强化学习（RL），是让模型尝试作答，再根据得分调整行为。论文研究的是可验证奖励强化学习（RLVR）：数学答案能否匹配、代码测试能否通过，都可以自动判定。这样的奖励很可靠，但通常只说“错了”，不告诉模型缺了哪一步。本文全部结果来自作者论文，尚无第三方复现；以下效果应视为特定模型与任务上的实验发现。
错误并非散落一地
研究者先让模型完成RL，再检查它生成的推理过程，也就是一次次 rollout（模型从问题出发写出的完整思考与答案）。他们发现，失败常与少数特征性 n-gram 同时出现。n-gram 是连续若干个词元组成的短语，可以理解为推理途中留下的路标。
这些路标会随模型和任务变化。较弱的 OLMo2-1B 做小学数学题时，危险信号常是“Let’s recheck”或“there’s a mistake”：模型开始反思，却越改越偏。较强的 Qwen3 面对更广泛的数学和科学推理时，信号则可能是“the inverse of A”或“use Coulomb’s law”，指向一个没有顺利完成的具体操作。
关键是，短语本身并非错误原因。“让我们再检查一下”当然不必然导致错误。它只是表明模型已经走到一个很难自行恢复的状态。论文把这些短语看作故障指示灯，而不是故障本身。
这种失败也不等于模型完全不会。以 OLMo2-1B 的 GSM8K 数学训练为例，在出现失败轨迹的问题中，近一半还能从同一道题的其他采样答案里找到正确解。换句话说，答案往往仍在模型的能力范围内，只是它一旦走到某个岔路口，就很少能走回来。
用失败短语回教材找答案
RLVR的问题正在这里：它只能从模型自己采样出的答案中学习。某个状态一旦很少产生正确后续，训练就缺少可供强化的成功范例。论文观察到，随着RL推进，整体准确率会上升，但模型进入这些失败状态的频率大致不变；从失败状态恢复的能力，也只是跟着整体表现一起改善。RL没有特别修好这些局部缺口。
作者于是反过来利用失败。第一步，从RL生成结果中筛出与低正确率相关的 n-gram。第二步，把它们当作精确检索词，到 OLMo2 的预训练和中期训练语料中找出包含这些短语的文本，并截取周围上下文。第三步，在正式RL之前，让底模用这些文本继续预训练——也就是让已有模型再读一批针对性教材，继续练习预测下一个词。最后保持RL设置不变，重新训练并比较结果。
这一步的巧处，不是找“与数学相似的语料”，而是让模型自己的失败决定该读什么。对照组也接受完全相同的继续预训练流程和文本量，只是用“step 1”一类内容中性的查询随机取材。因此，比较主要检验的是选了什么文本，而不只是多训练了一会儿。
小药方比大补课更有效
定向语料只有3500万 tokens（词元，模型处理文本的基本单位）。作者称，这比典型的 mid-training 小3至4个数量级。mid-training 是大规模预训练与后续强化学习之间的中间训练阶段，常用推理密集型文本继续打基础；不过论文没有给“典型规模”一个统一定义，因此这个数量级比较只能按作者口径理解。
实验覆盖 OLMo2 与 Qwen3，并设置了三类训练场景：GSM8K 数学题；数学、常识与知识题的混合任务；以及更广泛的数学和科学推理。与从同一预训练语料随机抽取等量文本相比，定向方法在11个设置中的10个表现更高。
最清楚的一组结果出现在较早的插入点。研究者先为 OLMo2-1B 做定向继续预训练，再进入 mid-training 和RL。在 GSM8K 上，最终准确率为38.2，对照组为36.2，相差2.0 points；该结果使用了3个RL随机种子，论文称不同种子的标准差约为1 point。若等模型完成 mid-training 后再补课，优势就更小：60.6 对60.0。这说明“补什么”重要，“什么时候补”也重要，后续中期训练可能帮助模型吸收这次定向调整。
效果也不随数据量一直增加。多组实验在3500万至1亿 tokens 已出现收益；扩到10亿 tokens 后，结果持平或下降。例如 OLMo2-1B 在较早插入修复的 GSM8K 设置中，从3500万 tokens 时的38.2降至10亿时的33.4。定向补课不是文本越多越好。
真正值得看的，是训练分工
这项工作的意义，不是宣布预训练取代RL。它提出的是一种分工：RL擅长提高已有成功策略出现的概率；当模型缺少某项操作，或总在特定推理状态里打转时，预训练数据可能更适合补缺口。RL的失败记录因此不只是训练废料，也能成为筛选教材的信号。
跨模型迁移让这个判断更有意思。研究者用 OLMo2-1B 的失败检索文本，再交给 Qwen3 使用。在混合任务上，Qwen3-4B 相比同等数据量的对照基线高1.9 points。这表明检索结果可能捕捉到某种可迁移的能力缺口，而不只是迎合单个模型的措辞习惯。
不过，修复具体操作比修复“无效反思”更直接。论文中，一些原本成功率为零的矩阵或物理操作，在继续预训练后明显改善；反思短语的成功率往往只增加一两个点。模型甚至会更频繁地说“再检查一下”，却不一定更懂该检查什么。检索到包含某项操作的正确文本，可能直接教会步骤；仅仅看到更多反思语句，却无法保证模型理解当前题目究竟错在哪。
局限与未知
- 所有证据来自同一篇论文，主要结论尚未获得独立复现。11个设置中仍有1个没有胜过等量随机语料对照，不能据此断言所有RL失败都应靠预训练修复。
- n-gram 是相关信号，不是因果解释。论文也承认，整体增益不能完全归功于模型在已定位状态中的恢复能力。
- 3500万 tokens 的小规模方案在这些实验中有效，但更大数据量有时反而伤害表现。如何选择短语、预算和插入阶段，仍依赖具体模型与任务。