像学生刷题只看最终答案，久而久之可能只会最常用的一套解法。RLVR（可验证奖励强化学习）也有类似风险：程序按答案对错发奖励，却不在意模型用了代数法还是几何法。Li 等人指出，问题未必出在奖励偏心，而在训练时抽取的解题过程有限；某条正确路线一旦连续没被抽中，之后就更难出现。
作者用一个受控实验追踪两种奖励完全相同的推理模式。当某模式平均每轮已抽不到一次时，便算进入“采样不足”。900 次试验中有 832 次在前 1000 步跌破这条线；此后观察 200 次更新，中位轨迹继续逼近零，而非自行恢复。
为此，团队提出 TAR（Targeted Adaptive Replay，定向自适应回放）：先从基础模型中收集正确且语义不同的解题路线，存进小型记忆库；训练中只在某条路线比原先更难出现时启动补练，并把修正集中到受压制最明显的词元。作者自述，TAR 在六个数学推理基准和两种 Qwen2.5 规模上，更好地兼顾了正确率与解法多样性。