让机器人“把胡萝卜放到盘子上”,它可能做得到;但若补一句“抓住绿色那端”,它未必照办。这项研究把“做什么”与“怎么做”分开评测。视觉—语言—动作模型(VLA)会同时读取摄像头画面和文字指令,再输出机器人动作。过去常看的总成功率,只检查终点,容易把“结果对、过程错”也算成成功。
作者认为,症结可能在训练数据:一整段机器人示范通常只配一条任务指令,模型容易把语言当作任务标签,而没学会它该怎样改变每一步动作。研究团队于是加入分段指令,让文字要求对齐具体动作阶段。训练后,模型约有84%的动作会朝纠正指令指定的方向变化;原始模型及同等训练量的对照组约为53%,接近50%的机会水平。不过,这种响应并未稳定提高任务成功率。
团队还设计了 SIMPLER-IN,让成功条件只写在“怎么做”的指令里,例如绕过透明障碍、抓住指定部位。按作者报告,包括分段训练后的模型在内,都无法可靠完成这些更难或训练分布外的要求。换句话说,VLA开始会对过程指令作出反应,但距离真正理解并遵守做法仍有明显差距。