机器人叠积木时,真正决定动作的是积木和夹爪的位置,不是桌布颜色。但世界动作模型(WAM——同时预测场景变化和下一步行动的模型)为了还原整幅画面,会把这些信息一起记进潜变量,也就是模型内部的场景摘要。结果是:它即使能模仿示范,也可能借助背景里的偶然线索做决定,换个环境就失灵。
CausalWAM提出的CWAM抓住了一个简单约束:预测画面的通路照旧,但通往“动作头”——负责生成动作的模块——只能稀疏地选取少量内部特征。像给动作决策设一道窄门,迫使模型少看与动作无关的东西。论文证明,在其设定和条件下,这种稀疏约束能把动作相关潜变量作为一个整体识别出来,并与干扰变量分开;它不要求额外干预,也不依赖连续时刻之间必须有足够关联。
作者还将这条稀疏路由加入预训练的Cosmos 3,并称其在RoboCasa365、LIBERO和真实Franka R3机器人上提升了综合闭环成功率;多数可视化帧中,路由权重落在被移动物体及其目标上。不过,现有材料未给出具体提升数字。