想象你在教机器人收拾桌面。它脑内演练了一遍：杯子的倒影很逼真，桌面纹理也几乎分毫不差，但它误判了杯柄的位置，随后伸手方向全错。画面预测得像，不等于动作学得对。DRILL 研究的正是这个错位：既然世界模型最终要帮助机器人做决策，为什么还把“复原每个像素”当作主要训练目标？
Kang 等作者提出，世界模型不应只追求画面准确，还应直接为策略提升负责。这里的世界模型（world model）可以理解成机器人脑内的环境模拟器；策略（policy）则是机器人看到情景后决定下一步动作的规则。论文报告，一个像素预测误差高出 17% 的世界模型，反而能训练出更好的下游策略。这些结果均来自论文团队在模拟器中的实验，尚无独立复现或真实机器人验证。
画面更准，为什么可能教得更差？
当前不少机器人强化学习系统会先用离线示范训练世界模型，再让机器人在模型生成的“想象经历”里练习。这样可以减少昂贵的现实交互。
常用训练指标是像素均方误差（pixel MSE）：逐像素比较预测画面与真实画面的颜色差异。数值越低，通常说明画面越像。但这个指标会同等计较背景纹理、机器人外观和任务关键物体。对于“把杯子放进托盘”来说，桌面木纹预测错一点也许无关紧要，杯子位置偏一点却可能毁掉动作。
真正指导策略更新的是策略梯度（policy gradient）——可以把它看成一枚训练指南针，告诉策略参数往哪个方向调整。论文发现，更低的 pixel MSE 可能对应更差的策略梯度。也就是说，模拟视频看起来更真，训练指南针却可能指错方向。
DRILL 把考试题换了
DRILL 全称是 Downstream-Return Imagination Learning Loop。它采用“双层”训练：内层先让策略在世界模型生成的想象轨迹中完成一次 GRPO 更新；外层再看更新后的策略能否在目标模拟器中获得更高回报，并据此反过来调整世界模型。
GRPO（Group Relative Policy Optimization）是一种按同组尝试的相对表现来更新策略的方法。DRILL 的关键不在于换了一种视频生成器，而在于换了评分标准：世界模型不再只回答“下一帧画得像不像”，还要回答“策略从这段想象中学习后，任务做得有没有更好”。
这很像训练教练。传统目标奖励教练把动作录像复述得多准确；DRILL 奖励的是学员听完指导后是否真的进步。
两种版本，对应两档成本
DRILL-VWI 是较轻量的版本。它不再平等对待所有预测误差，而是按三个因素重新加权：当前策略多常到访这个状态、该动作相对同组动作有多好，以及世界模型对预测有多大把握。高价值、常遇到且较可信的转移会得到更多注意；负优势的转移则可能被有意淡化。它所需信号都来自原有的想象 rollout——也就是模型生成的一段连续经历——因此相对 WMPO 流程不增加模拟器交互。
DRILL-IMG 更直接，也更昂贵。它沿着“世界模型改变—策略完成一次更新—最终回报变化”整条链条反向追踪影响。这属于元梯度（meta-gradient）：优化的不是策略眼前的表现，而是世界模型怎样改变，才能让策略学完一步后表现更好。论文用截断的 Hessian-vector product 近似这条复杂梯度；简单说，它只回看有限深度，以控制显存和计算量，同时需要一小批模拟器轨迹提供外层反馈。
两者并非完全等价。论文证明，在策略评分相容、预测残差较小等局部条件下，DRILL-VWI 可以恢复 DRILL-IMG 元梯度中的局部单步成分。任务越短、示范覆盖越充分，轻量版本越可能够用；多步后果越重要，DRILL-IMG 的完整追踪越有价值。
数字支持了什么？
作者在 5 个机器人操作模拟器和 2 个 VLA 主干模型上测试。VLA（vision-language-action）模型把视觉画面和语言指令转换成机器人动作。在五个基准的平均结果中，DRILL-IMG 的成功率比 WMPO 高 13.1 个百分点，比 RLVR-World 高 7.9 个百分点。这里是“百分点”，不是相对提升百分比。
更有意思的是，DRILL-IMG 的单步 pixel MSE 同时高出 17%。这正好支持论文的核心判断：对策略有用的模型，不一定是像素指标最漂亮的模型。不过论文没有给出这 17% 所对应的具体策略改善量，也没有说明该比例的详细计算口径。
长任务更能拉开两种版本的差距。论文的 rollout 长度实验中，DRILL-IMG 相对 DRILL-VWI 的领先从短长度时的 1.8 个百分点，扩大到 5.2、7.5 和 8.1 个百分点。但想象并非越长越好：DRILL-IMG 在中等长度达到 83.4 的成功率，继续拉长后降到 78.6，说明模型误差仍会沿轨迹累积。短任务 SimplerEnv 上，DRILL-VWI 反而以 64.0 略高于 DRILL-IMG 的 63.1。
DRILL 也不必取代原有的预测训练。作者先用 RLVR-World 预训练世界模型，再应用 DRILL-IMG，平均成功率又提高约 3.2 个百分点。至少在这组实验里，“先学会较可靠地预测”与“再对齐策略效用”可以叠加。
为什么值得关注？
这项工作的价值，不只是又提高了一组机器人基准成绩。它把评价世界模型的问题，从“视频像不像”推进到“机器人从中学到了什么”。当想象轨迹被用作训练数据时，生成质量只是手段，策略改善才是目的。
论文还提出 Policy-Utility Residual，用来衡量降低像素误差的方向，与提升策略回报的方向之间有多大夹角。两者越不一致，单看 pixel MSE 就越容易误判世界模型的实际价值。这为以后比较不同训练目标提供了一个比“视频看起来不错”更贴近用途的诊断思路。
局限与未知
- 实验全部来自模拟器，没有真实机器人结果。现实中的感知噪声、动作延迟、安全限制和仿真到现实的偏移仍未验证。
- DRILL-IMG 需要额外的模拟器轨迹、截断反向传播和 Hessian-vector product，会增加计算与显存成本；“无需额外交互”只适用于 DRILL-VWI。
- 论文报告主实验使用五个随机种子和统计检验，但现有结果仍来自同一团队。标题所说的“不必预测每个像素”是方向性概括：DRILL 并未抛弃像素预测，而是主张不要把像素准确率当作唯一目标。