Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.107 — 2026-10-19
PAPER H 1 约 1 分钟

VLA听懂任务,却未必听懂做法

新诊断拆开“做什么”与“怎么做”:VLA能完成任务,却常忽略过程要求。

让机器人“把胡萝卜放到盘子上”,它可能做得到;但若补一句“抓住绿色那端”,它未必照办。这项研究把“做什么”与“怎么做”分开评测。视觉—语言—动作模型(VLA)会同时读取摄像头画面和文字指令,再输出机器人动作。过去常看的总成功率,只检查终点,容易把“结果对、过程错”也算成成功。

作者认为,症结可能在训练数据:一整段机器人示范通常只配一条任务指令,模型容易把语言当作任务标签,而没学会它该怎样改变每一步动作。研究团队于是加入分段指令,让文字要求对齐具体动作阶段。训练后,模型约有84%的动作会朝纠正指令指定的方向变化;原始模型及同等训练量的对照组约为53%,接近50%的机会水平。不过,这种响应并未稳定提高任务成功率。

团队还设计了 SIMPLER-IN,让成功条件只写在“怎么做”的指令里,例如绕过透明障碍、抓住指定部位。按作者报告,包括分段训练后的模型在内,都无法可靠完成这些更难或训练分布外的要求。换句话说,VLA开始会对过程指令作出反应,但距离真正理解并遵守做法仍有明显差距。


供稿材料 SOURCES — 1

← 返回 2026-10-19 · 学术板块