像学生反复刷同一套题，LLM也可能越练分越高，却越来越不会做新题。论文把这种现象称为“过度优化”：模型摸透了训练评分规则，却丢掉可迁移的推理方式。常用的 KL 正则化——限制新模型偏离参考模型的“安全绳”——也未必管用；作者在 Qwen2.5-Math-7B 的持续训练中观察到，惩罚较弱时验证表现仍会下滑，惩罚过强又会让训练停滞。
ARMOR 的关键做法，是把离策略样本——由参考模型而非当前模型生成的答案——主动掺回训练，作为固定参照，提醒模型别遗忘已有的可靠解法；同时用混合优化保留探索新路径的空间。它针对的是一个容易被忽略的盲区：只要求新旧模型“平均别差太远”，仍可能让模型缩到少数投机解法上。作者称，该方法在 Qwen2.5-Math-7B、Qwen3-8B-Base 及多种强化学习算法和推理基准上缓解了验证表现崩塌，并支持更长时间的持续提升。