你给 AI 一笔固定的“进修经费”：可以买更大的模型，也可以让小模型多练几轮；可以让它多试几种解法，也可以请一个更可靠、但收费更高的老师批改。钱不能重复花，究竟哪种安排最划算？
Patrick Wilhelm 与 Odej Kao 的这项研究，把这个常见却容易被总预算掩盖的问题单独拿出来研究。论文关注 RL 后训练——模型完成通用预训练后，再通过生成解答、获得奖励、更新参数来强化推理或规划能力。作者的核心判断很克制：不存在一张通用的分账表。最佳观测方案会随模型大小、预算、反馈方式和最终考核目标改变。
本文数据和结论均来自这篇论文。实验只覆盖 LoRA-adapted Qwen2.5、GRPO 和数学推理任务，不能直接外推到所有模型与机器人学习系统。
总 FLOP 相同，不等于做了同样的事
研究者常用 FLOP 计算训练成本。一次浮点数加减乘除算一个 FLOP，总 FLOP 可以粗略理解为一项工作的“算力账单”。问题在于，同样金额的账单，内容可能完全不同。
作者为 GRPO 后训练建立了一套核算框架。GRPO 是一种依据一组候选答案的相对奖励来更新模型的方法。框架把总计算量拆成三部分：
第一部分是 rollout，也就是让模型针对题目生成完整解题过程。多生成几条，等于多尝试几种办法，但会消耗推理算力。第二部分是策略更新，即模型根据评分修改参数、真正把经验“学进去”。第三部分是奖励或反馈模型的评估成本，也就是批改答案本身花掉的算力。
论文还记录每次运行实际生成的 token 数，并用参数量与 token 数估算各部分 FLOP。实验采用 LoRA——只训练附加的低秩参数，而不是全面改写模型；不过作者也把冻结主干模型的前向计算和激活成本计入更新账目。
这套拆账的意义，不只是财务透明。两个训练任务即使总 FLOP 接近，一个可能把钱花在广泛尝试，另一个可能用较少轨迹反复更新。它们运行的机制已经不同，不能只看总数便说预算相当。
大模型会挤掉练习次数
论文使用经过 LoRA 适配的 Qwen2.5 指令模型，在 Polaris-53K 数学推理数据上运行 GRPO。模型规模包括 1.5B、3B 和 7B；作者在大致相同的 FLOP 区间内，调整更新步数、LoRA rank、模型大小与奖励系统。
结果显示，模型选择和训练分账不能分开决定。大模型每生成一个 token 都更贵。在相同预算下，选择更大的策略模型，就只能购买更少的 rollout 或更少的更新步骤。反过来，小模型可以多尝试、多学习，但起点能力不同。
作者观察到一条“条件分配前沿”：最佳观测分配不是固定点，而会随模型规模和预算改变。搜索过重时，模型收集了许多解法，却没有充分利用学习能力；更新过重时，它又可能围绕有限的轨迹反复训练，缺少探索。论文因此反对把不同模型规模的数据混在一起，提炼一条统一配方。
“老师”的成本也要入账
奖励反馈是给每条轨迹打分的信号。便宜方案可以用规则检查最终答案；更丰富的方案可以提供部分分，或让专门的奖励模型评价中间推理过程。后者可能给出更细的指导，但批改本身也要计算。
实验比较了稀疏、结构化、密集规则奖励，以及代理 PRM 和真实 PRM。PRM 即过程奖励模型，它不只看最终答案，还评估推理过程；真实 PRM 使用 Qwen2.5-Math-PRM-7B。
论文发现，规则奖励几乎把更新之外的计算都用于策略 rollout；PRM 风格的反馈则会把一部分可见预算花在奖励模型推理上。因此，较低的更新占比并不表示 PRM 天生“少学一点”。更准确的解释是：固定预算中已有一部分付给了批改者，留给生成和更新的钱自然变少。
先说清楚，你究竟想优化什么
最值得注意的结果，是不同考核方式会选出不同分配。
作者在 GSM8K 与 MATH-500 上各用 250 道题评估保存的适配器。按 pass@1 符号准确率——每道题只生成一次，再判断最终答案是否在数学上等价——高更新配置 a180 经常占优。真实 PRM 的 a180 在两个数据集上的平均 pass@1 约为 0.714，是表中最高值；稀疏奖励的 a180 为 0.708，密集奖励的 a180 为 0.702。
但换成共同的过程评判器，结果又变了。在有数据的密集奖励、代理 PRM 和真实 PRM 三组中，中等更新配置 a100 都取得最高分，分别为 0.780、0.767 和 0.761。也就是说，最能提高训练奖励的分账、最能答对最终答案的分账，以及最受过程评判器认可的分账，可能不是同一个。
这不是指标互相打架后的无效结论。它恰好说明：讨论“算力该花在哪里”之前，必须先说清最终目标。若目标是最终答案准确率，就不能只凭训练阶段的原生奖励选方案；若在意推理过程，也不能只看 pass@1。
RACE 更像预算体检，不是自动理财
作者提出 RACE（Reward-Aware Compute Allocation），用小规模 pilot grid——先跑一组便宜的试验组合——判断当前设置更偏向高更新、低更新还是高反馈成本，再挑选值得进行昂贵验证的区域。
在网格内验证和留出 LoRA rank 的验证中，RACE 判断高更新或较低更新区间的同区间命中率都达到 1.0。但它仍有非零的奖励损失，而且真正的 held-out 验证没有超过全局原生奖励基线。
所以作者没有把 RACE 包装成能保证提升成绩的优化算法。它是一种诊断协议：帮助研究者缩小验证范围，也提醒人们何时不能套用汇总后的经验规则。最终结论仍要靠独立的下游评估确认。
为什么值得关注
这项工作的价值，是把“算力规模”改写成“算力结构”。只报告总 FLOP，就像只报一家公司全年支出，却不说钱花在研发、销售还是质检。数字看似完整，真正决定结果的机制却被藏住了。
作者建议，RL 后训练论文除总 FLOP 外，还应报告 rollout、策略更新和奖励评估分别用了多少计算，以及由此形成的更新占比。这样才能判断成绩来自更大的模型、更多探索、更密集的学习，还是更昂贵的反馈。
这也为使用基础模型做规划、反馈或奖励评估的机器人学习流水线提供了一个问题框架。不过论文并未直接训练具身机器人；它只是用数学推理作为受控环境，研究可能出现在这些组件中的资源分配问题。
局限与未知
- 实验证据限于一个模型家族、GRPO、LoRA、数学推理任务和有限随机种子。论文没有提出跨任务、跨模型都成立的固定分配规律。
- FLOP 核算适合做相对比较，但没有覆盖全部硬件效应；“几乎全部”和“可见的一部分”也未给出统一的具体比例。
- RACE 能识别实验中的分配区间，却没有保证 held-out 改进。现有结果支持把它当作昂贵验证前的诊断工具，而不是已经验证的自动预算优化器。