让机器人关微波炉,它却拿起了杯子。普通强化学习会把整次尝试判成失败;但换个角度看,它其实成功完成了“拿起杯子”。这正是 Learning from Hindsight(LfH,事后学习)的思路:把没有完成原指令的机器人 rollout——从开始执行到结束的一整段尝试——重新标注为它实际做成的任务,让昂贵的失败数据也能参与训练。
具体来说,LfH 用同一个视觉语言模型查看失败轨迹,先判断其中有没有有意义的行为,再生成新的文字指令,并给同组轨迹按这条新指令重新评分。随后,它把原任务和重标任务一起用于 VLA——把画面、文字指令直接连接到机器人动作的模型——强化学习。作者报告,在初始成功率接近零的 LIBERO-PRO 分布外任务上,LfH 约用标准强化学习五分之一的训练步数,就达到后者最终的成功率;效果也在不同 VLA 底座和实体 Franka 机器人上出现。关键变化不是给原任务的失败过程硬加“进度分”,而是承认机器人可能做成了另一件事。