你会加减乘除，不等于只会重复练习册里的题。真正重要的是，遇到新题时，你能不能把这些基本动作重新编排，凑出一套更短、更好用的解法。今天推理模型训练里的一个核心争论也差不多：强化学习究竟只是让 AI 更频繁地使出已有技能，还是能把零散能力组合成训练前没有直接展示过的新策略？
Azwar Abdulsalam、Nishil Patel 和 Andrew Saxe 用一场高度可控的实验来回答这个问题。他们没有直接研究自然语言，而是搭建了一套重写文法环境——模型按照明确规则，一步步改写符号串。规则、预训练数据和模型的每次改写都能检查。这让研究者第一次可以比较清楚地看到，模型是在重复基本动作、组合有效捷径，还是碰巧写出一个不合规则的步骤。
先说结论：在这套环境中，强化学习后训练不只放大了原有能力。它先强化基本的符号缩减动作，随后把多个动作压缩成更高层、可重复使用的组合策略。不过，全部证据来自这一篇论文及其人工实验，不能直接外推为通用大模型的普遍规律。
把推理拆成可以查账的步骤
研究者先从头预训练一个 Transformer——一种按上下文处理序列的神经网络。训练材料只包含基础的符号改写链。例如，模型可以按规则把一个符号展开成较长的字符串，也可以反过来，把匹配的字符串缩减回一个符号。
之后，模型进入 Trace-based reasoning 任务。它看到一个展开后的长字符串，要输出一连串缩减步骤，最后还原出目标符号。训练只给二元最终答案奖励：最后答对得奖励，答错不得奖励；中间每一步没人提示。强化学习后训练，就是让模型不断尝试，再按这个结果调整行为。
实验还设置了一道硬约束：模型最多生成 256 个 token——可以粗略理解为一段固定长度的输出空间。难度 1 的题，用最朴素的基础步骤也能在预算内做完；难度 2 和 3 分别多出一步、两步。评测继续延伸到难度 6。题目规则没有改变，难点只是老办法太长。模型若想解出更难的题，就必须找到有效的“省步骤”办法。
这正是设计的关键。自然语言推理里，模型突然答对一道题，我们很难判断它用了新策略，还是从预训练中捞出了一个罕见答案。在这里，每次改写都能对照文法查账。研究者把行为分成四类：基础改写；把连续步骤合成一步的 macro contraction；把彼此独立的缩减同时完成的 parallel contraction；以及不符合这些规则的 spurious rewrite，也就是看似走了捷径、实际无效的改写。
新策略不是一下子冒出来的
论文报告了一条分阶段的轨迹。训练早期，成功答案主要依靠基础缩减。大约到第 5,000 次迭代，macro contraction 开始增加；约到第 12,500 次迭代，它超过了基础缩减。parallel contraction 出现得更晚，但此后持续增长。
换句话说，强化学习没有凭空发明一套完整算法。它先把已有的基础动作练稳，再把连续或并行的动作“打包”。这类似于初学者逐行计算，熟练后把常见的几步当成一个整体操作。论文称之为 procedural chunking，即把一串程序化步骤压缩成一个可调用的动作块。
这些捷径也不只是偶然出现一次。macro rule——可以跨题复用的宏观改写规则——在训练中持续被发现，发现速度约在第 10,000 次迭代达到峰值。到训练末期，多数 macro 动作都在重复使用早先检查点已经出现过的规则。作者因此认为，RL 形成了一套较稳定的策略库，而不是依赖每道题临时碰运气。
它和“筛出正确答案再模仿”差在哪？
研究还比较了 rejection fine-tuning（RFT，拒绝采样微调）：先让模型生成答案，留下成功轨迹，再用这些轨迹继续做模仿训练。两种方法使用相同提示，也都只依据最终答案，因此 RFT 不是一个刻意设置得很弱的对手。
RFT 在早期提升更快，尤其是简单题；随后进入平台期。RL 起步较慢，却继续增长，而且越难的题差距越明显。研究者认为，关键不在谁尝试了更多非基础动作，而在谁更会筛选。
RFT 也产生了 macro 和 parallel 改写，但同时积累了更多无效捷径，其无效动作占比在训练中一直较高。原因是，一条最终答对的轨迹里即使夹杂了可疑步骤，RFT 也会把整条轨迹一起模仿。
论文使用的 GRPO——一种让同一道题的多份回答彼此比较、再调整模型的强化学习方法——还会利用失败回答。某种改写若在同题的成功回答中更常见，模型会加强它；若它更多出现在失败回答中，模型会压低它。这个解释只是对训练过程的近似分析，但它说明了为什么负面样本的价值不只是“增加探索”：它们还能帮模型区分有效结构和无效动作。
旧模型真的做不到吗？
为了检查 RL 是否只是把基础模型里极罕见的完整答案调高概率，研究者给预训练模型更大的采样预算。这里的 pass@，指给模型 次尝试机会，只要其中一次成功就算通过。
预训练模型在 pass@64、pass@256 和 pass@1024 下的总体成功率分别为 11.25%、13.75% 和 17.50%。即使每题尝试 1,024 次，难度 4 和 5 的成功率仍为 0；难度 3 也只有 6.25%。论文报告，RL 后的模型能在 pass@16 下稳定触及这些更难的题。
这不能证明答案在数学意义上完全不属于基础模型的可能输出，但至少说明：在论文测试的有限预算内，单纯增加抽样远远不够。RL 得到的提升伴随着可审计的新组合步骤，而不是只表现为“多抽几次终于撞对”。
真正的底子，是步骤如何排列
最后一组预训练消融实验——有意改变某个训练条件，看结果是否随之变化——进一步限定了结论。研究者调整预训练里缩减动作的组织方式，并设置一个对照组：它看到的缩减动作总量相近，但这些动作较少连续成链。
结果是，只接触过足够多的基础动作还不够。预训练中若缺少连续的缩减过程，模型之后就不能可靠进入 macro 或 parallel 策略阶段。较多、较连贯的缩减链，则带来更早、更强的有效组合策略。
这给“RL 是否创造新能力”提供了一个更细的答案：它既不是从零创造，也不只是重复完整旧答案。预训练提供基础动作、可缩减状态和短链条；RL 再从中选择、压缩并巩固，搭出此前没有作为完整训练动作出现的高层策略。
局限与未知
- 这是人工重写文法环境。它的优势是每一步都能审计，但不能据此断言自然语言推理或通用大模型会出现相同阶段和策略分类。
- 论文证明的是有限采样预算下的能力边界扩展，不是基础模型对困难答案具有严格的零概率。
- 材料对应的 arXiv 编号为 2607.07646，但现有信息不足以交叉核验其版本与发布日期；本文只按所给论文原文陈述实验。