Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.106 — 2026-10-18
PAPER HF 40 约 7 分钟

OneWM:世界预测与行动互相上课

OneWM让机器人一边预测行动后果、一边学习行动,检验两项能力合训能否双向增益。

先想后做,也从做法里学会怎么想

你让机器人把早餐摆上桌,它要同时回答两个问题:拿起杯子后,桌面会怎样变化;面对现在的桌面,下一步又该做什么。前者是“世界建模”——预测行动之后会发生什么;后者是“动作建模”——决定此刻该怎么做。两者显然相关,但把它们塞进同一个模型,未必自动产生好处,也可能争抢模型能力。

OneWM正面检验了这个问题。它把世界预测和动作生成放进同一套 video–action architecture(视频—动作架构),让动作既是预测未来画面的条件,也是策略学习的目标。策略(Policy)就是机器人把当前观察转换成下一步动作的规则。

这里的“因果训练”需要特别说明:模型只能根据时间上已经出现的画面和动作预测后续,不能偷看未来。它描述的是信息流方向,不等于论文证明了现实世界中的因果关系。本文的效果结论均来自论文及其聚合页面这一个信源,尚无独立交叉验证。

关键不是一起学,而是怎样一起学

已有的一类世界—动作模型,会让未来视频完全看不到动作;另一类允许视频参考动作,但训练时输入的是被噪声扰乱、等待模型还原的动作。问题在于,要学习“执行这个指定动作会发生什么”,最好给模型一段明确、干净的动作,而不是含混的动作草稿。

OneWM因此混合三种练习。

  • All-clean:所有动作都保持干净,模型据此预测未来画面,专门练习“给定动作,会有什么后果”。
  • All-noisy:所有动作都被加噪,模型要从观察和语言指令中还原动作,练习策略生成。
  • Partial-clean:前一段动作是干净条件,后一段动作需要还原;模型同时预测后续画面。

可以把它理解成教机器人做菜:有时给完整步骤,让它预测锅里接下来会怎样;有时只给厨房现状,让它自己决定步骤;有时给出开头,让它续写后面的动作。每个训练批次都混入三类题目。

视频和动作由两个专门模块处理,但通过按时间单向开放的联合注意力交换信息。未来画面只能参考此前及当前的动作,动作也只能参考已经看到的画面与动作前缀。模型不能借后面的结果倒推前面的决定。

世界预测怎样帮机器人行动

作者先把OneWM与两种采用相同因果架构的WAM变体比较:WAMmask不让未来视频读取动作,WAMnoisy只让视频读取带噪动作。三者都学习视频和动作,OneWM多出的关键训练信号,是干净动作条件下的前向动态——也就是明确学习“这个控制会怎样改变场景”。

在LIBERO具身操作评测中,OneWM平均任务成功率为94.95%,高于WAMmask的92.45%和WAMnoisy的92.60%。LIBERO用抓取、摆放及多步操作等标准化任务检验机器人是否真正完成目标。

更能说明问题的是场景变化。LIBERO-Plus会改变背景、相机、语言表达、光照、布局、初始状态,并加入传感器噪声。OneWM总体成功率为59.27%,两种WAM变体分别为53.37%和52.50%。传感器噪声条件下,OneWM为67.08%,而两者为50.41%和48.34%。不过收益并不整齐:光照和机器人初始状态变化下,它没有都占优。

在场景和任务更复杂的RoboCasa365中,OneWM总体成功率为36.68%,WAMmask为28.32%。论文还报告了积木堆叠、插入和早餐摆放三类真实机器人实验:OneWM都优于WAMmask,尤其是插入与早餐摆放,但正文材料没有给出具体成功率。

这些结果支持一个克制的判断:在这套模型与测试中,明确学习指定动作的视觉后果,可以帮助策略抓住机器人、物体与场景之间更可迁移的关系。

行动学习也会反过来教世界模型

作者随后固定架构,比较OneWM与只做世界预测、不学习动作生成的WM。推理时,两者都拿到同样的干净动作,因此差别主要来自训练阶段是否加入动作学习。

OneWM在三个基准上都取得更好的PSNR、SSIM和LPIPS。它们分别侧重像素误差、结构相似性和感知差异。以LIBERO为例,PSNR从WM的22.33升至22.95,SSIM从0.8325升至0.8423,LPIPS从0.1529降至0.1458;LPIPS越低越好。RoboCasa365上,PSNR从24.72升至25.21,LPIPS从0.1087降至0.1015。

但不能简单说OneWM包揽所有指标。FID和FVD衡量生成结果整体分布及视频分布的接近程度,数值越低越好;在LIBERO上,OneWM的FID为12.45,反而差于WM的11.89。论文也承认,另一种通过自适应层归一化注入动作的WMAdaLN,在部分FID或FVD比较中更好。较稳妥的结论是:动作学习改善了与指定结果逐一对应的预测质量,并在多数、但非全部分布指标上带来收益。

合训不是把配比一路拧大

OneWM默认以60/25/15混合全噪声、部分干净和全干净样本。改成50/35/15后,表现大体稳定;但进一步改成30/45/25,LIBERO成功率从94.95%降至87.80%,LIBERO-Plus更从59.27%降至38.01%,世界预测指标却相对稳定。

这说明“双向增益”不等于干净动作越多越好。机器人部署时需要从噪声中生成动作,训练中若削弱这类练习,策略泛化会受损。世界预测和动作生成可以合训,但配比本身就是设计问题。

作者还展示了一个“endless dream”:模型先生成动作,再用这些动作预测未来画面,把最后一帧当成下一轮观察。它在LIBERO上连续运行16轮,每轮生成32个动作和8帧未来画面,总计想象512个动作、覆盖25.6秒。这个实验说明两种能力能够首尾相接,但材料没有提供其长期准确率或与真实执行的一致性,不能把它当成可靠规划能力的证明。

为什么值得关注

OneWM给“WAM究竟该合训还是分训”补上了一组控制较清楚的证据:在共享架构内,学行动后果能改善策略,学动作也能改善多视角世界预测。更重要的是,它同时展示了边界——增益大小并不对称,部分指标并未领先,训练配比失衡还会伤害策略。

局限与未知

  • 证据目前只有论文单一信源;不同架构、数据规模和任务中是否仍有双向收益,尚不能确定。
  • 真实世界实验覆盖三类操作,但材料未披露样本量、具体成功率和统计显著性。
  • “endless dream”展示了长链条生成能力,却没有证明想象轨迹足够准确,或确实能改善真实规划与控制。

供稿材料 SOURCES — 1

← 返回 2026-10-18 · 学术板块