你让机器人去拿刚才停在某个座位上的可乐,它一转身,座位又变得一模一样。只看当前画面,机器人已经无从判断。人形机器人还要边走、边保持平衡、边动手,视角不断变化,因此行动前短暂出现的线索尤其容易丢失。
WholeBodyMem为全身VLA加入了历史记忆。VLA(Vision-Language-Action)把画面和语言指令一起输入,再直接输出动作。系统用SAM3追踪任务物体,在物体出现、消失、移动或变形时保留关键画面;执行动作时,再通过交叉注意力——按当前问题翻查相关笔记的机制——读取这些画面,而不是平均抽取一长串旧镜头。
最值得注意的是,关键不在“记得更多”,而在“记对时刻”。作者报告,在包含六项模拟任务和六项Unitree G1实机任务的HuMeGo基准上,它把基础策略的成功率从29.1%提高到72.6%,实机上从36.7%提高到88.3%。这些数字来自论文作者的实验,尚不足以说明它能处理基准之外的开放环境,但清楚点出了全身机器人规划前的一道门槛:先保住已经看不见的线索。