你让机器人把盘子放进架子。常见思路是先让它在“脑中”生成一段未来画面,再据此决定手该往哪里伸。预演当然有用,但如果每做一次动作都要重新生成视频,控制就会变慢,也更耗算力。
Enfold换了一个角度:机器人未必需要每次都把未来“画”出来。它可以在训练时观察世界模型如何构造未来,再把其中与行动有关的计算整理成一份轻量笔记。部署时,机器人直接读这份笔记来行动,不再运行视频生成器。
这就是标题里“卸下想象器”的准确含义:生成器仍参与训练,也可以按需生成未来;只是它不再是实际控制回路中的必经之路。下文数字和效果均来自Enfold论文,尚无独立研究交叉验证。
不学最后一幅画,学画面如何成形
世界模型学习“当前状态加上一个动作后,环境可能怎样变化”,相当于让机器人先在脑中预演。生成式世界模型还会生成未来画面、轨迹或内部状态。它提供的信息很丰富,代价是生成过程通常较重。
Enfold没有只拿生成器最终画出的未来视频当教材。它关注的是生成途中的多层中间状态:当生成器把一段受扰动的未来逐步整理成连贯轨迹时,不同网络层会依次组织外观、空间布局和物体互动。
可以把它想成老师解一道题。最终视频只是答案;中间状态更像草稿上的推理步骤。Enfold要迁移的不是答案本身,而是老师整理问题的方式。
训练时,生成器会读取真实发生的未来,并暴露多个深度的内部状态。一个只看当前视觉画面和语言指令的预测编码器,则尝试提前猜出这些状态。编码器最后产出的“表征”——也就是把复杂现场压成的一组内部数字摘要——既可交给动作头决定机器人动作,也可反过来帮助生成器预测未来。
论文认为,多层状态很重要,因为没有某一层在所有情况下都最好。较深层通常更少受光照和表面外观影响,更关注整体布局,却也可能更容易受到生成噪声干扰。Enfold因此组合多个层级,并根据生成过程所处的扰动阶段调整预测目标。
一道刻意设置的训练难题
这里有一个关键的不对称:充当老师的生成器能看到真实未来,学生编码器却只能看到现在。
学生不可能准确复现未来中的每一个偶然细节,例如细微光照变化或生成噪声。为了完成预测,它更需要保留从当前场景中能够推断的变化结构:物体可能往哪里移动,机械臂将与什么发生接触,较长时间后哪些区域会改变。
与此同时,Enfold不允许动作任务的梯度反向修改编码器。通俗地说,动作头只能读取这份笔记,不能为了当前任务的得分重写笔记。未来生成任务同样不能直接塑造编码器。编码器只通过“预测生成器中间状态”来学习。这样做是为了检验:生成过程本身教出的表征,是否已经包含足够的控制信息,而不是让普通动作训练偷偷补齐能力。
部署时,系统只运行预测编码器和动作头。若确实需要查看未来,生成器仍可利用同一表征展开一段视频;但日常动作预测不需要执行它。Enfold-Flash沿用相同模型与控制路径,另外加入TensorRT算子级加速。
省下生成,控制没有明显掉队
论文在LIBERO、RoboTwin2.0和四项真实双臂机器人任务上测试了这套方法。
在LIBERO中,标准Enfold的平均任务成功率为97.8%,每个动作块延迟134毫秒;Fast–WAM为97.6%和493毫秒。在同一A100 40GB测试协议下,延迟约降至后者的1/3.7。Enfold-Flash把延迟进一步降到49毫秒,约快10.1倍,平均成功率仍为97.5%。这些结果的重点不是0.2个百分点的排名,而是移除动作路径中的视频生成后,整体控制质量没有明显下降。
一组消融实验——即替换关键设计、观察结果怎样变化——也支持中间状态的作用。在LIBERO四组任务上,只预测未来像素的平均成功率为96.0%,只用动作监督为94.9%,单层生成器状态为96.3%,多层状态达到97.8%。提升主要出现在更依赖目标和多阶段互动的任务;在较局部的空间任务上,未来像素反而略高0.1个百分点。
RoboTwin2.0测试双臂操作及随机化场景。Enfold平均为91.77%,Enfold-Flash为92.02%,Fast–WAM为91.83%。差距很小,论文也明确指出,没有不确定性估计就不宜据此排列高下。更稳妥的结论是:加速版本在场景随机化下大体保住了控制表现。
真实机器人实验中,Enfold在四项任务上的分布内平均完成分为89.7%,Fast–WAM为77.8%;场景或物体位置发生变化后,两者分别为76.6%和70.0%。不过另一对照方法在分布外测试中达到83.3%,说明Enfold并未解决更大范围的环境变化。
它记住的是未来,还是训练轨迹?
作者还人为移动盘子,或改变毛巾的形状,同时保持指令和此前互动历史不变。Enfold重新读取当前场景后,生成的后续画面和实际动作都会转向新的物体位置或接触点。
这至少说明,它的行为不像把旧轨迹原样重放。由于模型直接看到了改变后的场景,这项实验更准确地说是“根据干预后的现场重新规划”,还不能证明它掌握了完整、可泛化的因果世界模型。
表征分析给出了另一条线索。论文报告,Enfold对光照等无关变化的敏感度低于教师生成器的内部状态;预测未来画面特征时,它的优势会随时间跨度增加,并集中在机械臂、布料等真正发生变化的区域。可视化中,夹爪对应的内部特征还会关联到即将接触的物体,而不只关联外观相似的机械臂部件。作者据此认为,这份笔记更偏向未来互动,而不只是当前画面的普通摘要。
为什么值得关注
Enfold有意思的地方,不只是把一个生成步骤删掉。它重新安排了世界模型的角色:生成器从部署时持续运行的“模拟器”,变成训练时提供结构化教材的“老师”。模型保留的是构造未来时形成的内部组织方式,而不是每一步都把未来真正渲染出来。
如果这种思路能够稳定扩展,生成模型的一部分价值可能不在它最终生成了什么,而在它生成时完成了怎样的计算。对机器人而言,这意味着可以在训练期借助较重的想象能力,在控制现场只携带一份更便宜的预测表征。
局限与未知
- 论文仍需要生成式世界模型参与训练。“卸下想象器”只发生在动作部署路径中,也不代表未来预测能力被无损压缩。
- 3.7倍和10.1倍来自论文给定的同硬件协议,不能脱离模型实现、批量和控制设置改写成普遍速度结论。
- 场景干预和表征可视化主要提供定性证据;它们能反对固定轨迹重放,却不足以证明模型形成了完整、可迁移到任意环境的世界模型。