你让一名研究助理同时尝试一百种方案。写方案很快，真正运行代码、加载数据、占用 GPU，却要一份份排队。自动科研 Agent 遇到的正是这个问题：它能提出方案、修改实验、根据结果继续迭代，但训练它的主要成本，渐渐不在“想”，而在“做”。
论文《Scaling Automatic Research Agents via World Models》提出 World Model RL（WMRL）：让 Agent 训练时先在世界模型里试错。世界模型可以理解为一间便宜的虚拟实验室。它读入任务和 Agent 给出的方案，预测真实执行可能产生的结果，再据此给出训练奖励。真正值得看的，不只是换掉昂贵实验，而是作者还保留了一小股真实执行数据，用来持续纠正模拟器。
下文的效果数字均来自论文作者实验，尚无独立复现。
贵的不是思考，而是执行
自动科研 Agent 是一种能反复完成“提出想法—编写方案—运行实验—分析结果”闭环的语言模型。强化学习（RL）则让它通过多次尝试获得奖励，逐渐学会哪些研究决策更有效。
训练时，一段从提出方案到收到反馈的完整经历叫 rollout，中文常译作“展开”。问题在于，语言模型可以把许多展开打包计算；真实实验却很难这样摊薄成本。每个候选方案都要进入独立沙箱——与其他程序隔离的运行空间——加载数据，并实际占用机器和 GPU。展开越多，执行成本几乎随之线性增长。
WMRL 改变的是奖励从哪里来。论文用一个与 Agent 相同骨干的通用语言模型充当世界模型。它不实际运行方案，而是预测执行结果。这样，原本必须逐项完成的环境执行，变成了可批量处理的模型推理。训练流程基本不变，只是多数奖励由预测结果提供。
但这不等于 Agent 已经无需真实环境。世界模型只是训练中的替代信号，最终结果仍需真实基准检验；而且 WMRL 自己也保留少量真实执行作为校准依据。
虚拟实验室也会看走眼
世界模型的错误有两种。第一种是偏差：它可能长期把某类方案估得过高，平均很多次也不会消失。第二种是噪声：同类预测会随机波动，平均后才可能减弱。
论文为此设计了两道修正。
Online Debiasing（在线去偏）会同时收集少量“模型预测—真实得分”配对，并拟合一条保持高低顺序的校准映射。说白了，如果虚拟实验室总把某档方案打高了，就根据近期真实结果把分数拉回来。映射会随训练持续更新，以追踪误差变化。
Inverse-Variance Denoising（逆方差去噪）则把两股奖励信号合并：数量少但可靠的真实奖励，以及数量多但更嘈杂的世界模型奖励。哪一股波动小，权重就更大。世界模型预测越不可靠，真实“锚点”的权重会自动上升；极端情况下，训练会更多退回真实奖励，而不是继续相信坏掉的模拟器。
作者还给出理论分析：只使用世界模型时，系统性偏差会留下一个无法靠延长训练消除的误差下限，随机噪声则会放大训练方差。论文声称，两项修正分别压低这两类误差，并严格改善理论上的收敛保证。这里的“严格改善”说的是数学界限，不等于每个实际任务都必然提升。
省下多少，又学得怎样？
作者在 MLE-Dojo 和 DSBench 上训练 Qwen3.5-4B 与 Qwen3.5-9B 研究 Agent。这两套基准都围绕类似 Kaggle 的机器学习和数据科学任务展开。评价分数来自提交结果在真实竞赛排行榜中的百分位，并对八次尝试取平均。
在相同 A100 GPU 分配下，4B 模型使用真实环境进行 GRPO——一种按同组尝试的相对成绩更新策略——需要 883 GPU-hours；WMRL 用了 286 GPU-hours，约为三分之一。9B 模型则从 1174 降到 349 GPU-hours。与此同时，WMRL 在两套测试上的平均分都高于对应的真实环境 GRPO：4B 模型在 MLE-Dojo 从 15.2 升至 16.4，在 DSBench 从 25.7 升至 28.8；9B 模型分别从 18.8 升至 21.6、从 31.2 升至 32.8。
直接相信未经修正的世界模型则不够。9B 纯世界模型训练在两套基准上只得到 16.1 和 28.0，低于 WMRL 的 21.6 和 32.8。消融实验——逐项关掉组件观察变化——也显示，只把真实奖励和预测奖励混在一起仍不够；单独去偏或去噪都有帮助，两者同时开启时，四组成绩相对未修正混合方案提高 2.9 至 4.8 分。
小模型比较也很醒目。经 WMRL 后训练的 4B Agent，在两套基准平均分上超过 Kimi-48B-A3B；9B Agent 则超过 Nemotron-120B-A12B。不过这是特定脚手架、数据划分和 avg@8 口径下的结果，不能推成“小模型普遍胜过大模型”。
为什么值得关注
这项工作的关键判断是：自主研究系统的规模瓶颈，可能不是 Agent 一次能想多聪明，而是我们能否负担足够多次试验。WMRL 把大部分试验搬进可批量运行的模拟器，再用少量真实结果维持校准，相当于在速度与可信度之间搭了一座桥。
论文还把同一思路用于 VLA（Vision-Language-Action，视觉—语言—动作）模型的后训练。这类模型根据图像和文字指令控制机器人动作。在 LIBERO-Long 模拟操作任务中，WMRL 将 MiniVLA-1B 的总体成功率从监督微调后的 37.4 提高到 41.2；只用真实稀疏奖励或原始世界模型奖励时，结果分别是 38.3 和 39.2。这说明方法不只可能服务代码实验，也可能适用于“真实展开昂贵、结果又可被近似预测”的其他训练场景。
局限与未知
- 所有结果目前均来自论文作者。训练加速与性能提升尚缺独立复现，也不应脱离其任务、硬件和评价口径泛化。
- 世界模型与 Agent 使用相同骨干，且训练时世界模型保持冻结。论文证明的是这种具体设置可行，尚不足以说明不同模拟器都能稳定工作。
- WMRL 仍依赖一小股真实执行作为锚点。若任务结果无法从方案本身预测，模拟奖励的价值会下降，节省幅度也可能随之缩小。