你让机器人把桌上的方块放到指定位置。它可以先在“脑中”试几种抓法，但光会想象还不够：第一次没对准，下一版计划该改哪一步？是提前合拢夹爪，还是换一条接近路线？今天多数系统仍靠人工设计的搜索规则回答这个问题。
Armin Sommer 与 Jannik Schilling 提出的 Reinforced Planning，试图让机器连“怎样修改计划”也一起学会。其首个实现 RP1 把潜在世界模型——在压缩的内部数字空间里预测行动后果的模型——接到强化学习上。它先评估想象中的结局，再反复改写整段行动计划。论文在视觉导航、机械臂到达和方块操作中给出了积极结果，但所有效果数字目前均来自作者论文，尚无独立复现。
不只预测未来，还要学会怎样搜
世界模型像一个内部沙盘。它接收当前状态和一串候选动作，推演最后可能到达哪里。所谓“潜在”，是说模型不必逐像素画出未来画面，而是把环境压缩成一组保留决策信息的数字，通常能减少计算。
问题在于，沙盘只负责回答“照这个计划做，会发生什么”，并不自动回答“计划不好时该怎么改”。常见规划器会用 CEM、MPPI 或梯度下降等人工设定的搜索方法，不断提出、筛选和调整候选路线。规则本身通常不会从任务经验中完整学出来。
RP1换了一个角度：把搜索规则也做成神经网络，并用计划改完后的结果训练它。它包含两个角色。
第一个是 critic——负责给想象结果打分的评价器。它估计某个状态距离目标还需要多少步，数值越低，表示结局越好。这个评价器通过离线轨迹和时序差分学习训练；时序差分学习，是用眼前一步与后续结果之间的关系逐渐修正估值。
第二个是 optimizer——负责修改计划的优化器。每轮中，世界模型先推演当前计划，critic再评价终点，optimizer随后输出一份计划改动。新的计划继续进入下一轮。训练时，好改动如果让预计到达目标的成本下降，就会被强化；坏改动则被压低。它学到的是可重复使用的“改计划方法”，而不是背下一条固定动作序列。
RP1还能看到评价值对计划的梯度——也就是往哪个方向微调，分数可能改善。但它不必机械地沿梯度走，而能学习何时相信这条提示。实验中，世界模型在训练 critic 和规划器时保持冻结，因此性能差异主要来自怎样评价和修改想象轨迹，而不是重新训练了一个更强的预测模型。
为什么只看潜在距离不够
论文先指出一个容易忽视的问题：潜在空间里“看起来近”，不一定真的容易到达。
想象两个房间隔着一堵墙。目标在墙的另一侧，直线距离很短，但实际必须绕到门口。RP1论文中的 TwoRoom 正是这类任务。作者发现，直接用潜在表示之间的欧氏距离打分，不能可靠反映还要走多少步；换成学到的 critic 后，多种规划器的成功率都接近饱和。这说明此处的瓶颈主要不是搜索技巧，而是评分尺子用错了。
论文还给出一个理论理由：即使两个潜在世界模型对未来的预测同样准确，也可以通过改变内部坐标的拉伸方式，让同一个目标显得更近或更远。因此，预测准确本身不能保证潜在距离适合规划。到达成本需要另外学习。
在 Reacher 机械臂任务中，情况相反。机械臂在自由空间运动，没有墙或接触障碍，潜在距离已经足以近似到达成本。此时更能看出搜索规则本身的差别。宽松容差下，多种方法都接近上限；收紧容差后，RP1在两个世界模型上均保持最高成绩。作者据此判断，它的优势更多来自最后几个动作块的精细调整。
接触任务把差距拉开了
更有代表性的是 OGBench Cube：机械臂要从图像判断位置，抓起方块并放到目标处。这里一次很小的早期偏差，就可能决定夹爪抓住还是彻底错过。计划的好坏不是平滑变化的，也可能同时存在多条截然不同的可行路线，传统梯度或单峰采样方法容易受限。
作者使用“hard”分数扣除不采取动作也能获得的成功率，避免把初始状态碰巧已接近目标算成规划能力。在四组设置中，RP1的 hard 分数为 58.1 至 75.2，均为表中最高；它每次决策只使用 9 次世界模型 rollout——也就是内部完整推演一条候选未来——而 CEM、MPPI 使用 9000 次，Adam 使用 3000 次。以最高预算的对照计算，RP1的 rollout 数量约为其 1/1000。
计算次数少不等于延迟同比下降，因为 GPU 可以并行评估大量候选计划。论文在单张 NVIDIA H200 上测试发现，RP1单独运行时仍快于 CEM；当多个规划器共享同一 GPU、并发处理多条控制回路时，最佳情形下相对最强对照快至 67 倍。这个数字只适用于论文规定的并发推理条件，不能理解为所有场景都快 67 倍。
它真正值得看的地方
RP1最有意思的不是又换了一种奖励函数，而是把世界模型的角色向前推进了一步。过去，模型负责预演，人工算法负责搜；现在，预演结果反过来训练一个会改整套多步计划的规划器。
作者称，据其所知，RP1是首个完整学习多步计划更新规则的模型式规划器。这仍是作者限定下的优先权主张，不宜视为外部确认。方法设计上，RP1可以独立于具体世界模型训练，并接到预训练潜在世界模型上；不过论文实际只验证了 LeWorldModel 和 PLDM 两种 backbone——也就是承担表示与预测工作的基础模型。
这项工作的核心判断很清楚：世界模型能把未来想出来，并不代表系统已经会规划。评分方式可能把隔墙的目标误判为近在眼前，搜索规则也可能不会处理抓取中的突然成败。RP1分别用学到的 critic 和 optimizer处理这两层问题。
局限与未知
- 规划器可能钻世界模型的漏洞。作者在方块任务中观察到“没有抓住，模型却预测方块黏到机械臂上”的幻觉。一次 Dyna 式微调——收集失败轨迹、修正世界模型并重训规划器——提高了结果，但没有消除这一风险。
- 实验在不同环境中使用了不同超参数，并采用开环执行，即计划生成后不根据途中反馈持续重规划。闭环条件下，各方法的相对表现仍未知。
- 证据只覆盖三类任务、两种世界模型和固定的规划长度与接口。更长时程、多物体任务及更多模型家族能否保持优势，仍需验证。