你在厨房里示范一次“先扶住瓶身，再拧开瓶盖”，人通常就能照着做。机器人却没这么省心：换一个瓶子、换一种摆法，原先训练好的动作就可能失灵。每遇到新情况都重新收集数据、训练模型，既慢也难以覆盖真实世界的意外。
论文《In-Context Robot Learning with VLM Agents》尝试把“看一遍再上手”带进机器人控制。作者提出 GPT-Policy：机器人可以临时读取人类或机器人的示范视频、目标图片、过去的尝试记录以及人的现场反馈，再决定下一步动作；整个过程不做梯度更新，也不永久修改任务专用参数。换句话说，它不是现场重新上课，而是带着一张临时参考卡开工。
这项工作的证据来自论文作者自己的小规模实验，每个条件只重复三次。结果适合说明“这种办法可能有效”，还不足以证明它已经稳定、通用或安全。
关键不是记住动作，而是读懂现场
这种能力叫上下文学习（In-Context Learning）：模型不改变内部权重，只凭当前输入中的例子，临时摸清任务规律。GPT-Policy把一套通用 Vision-Language Model，简称 VLM——能同时理解图片、视频和文字的模型——接到机器人执行工具上，让它充当现场决策者。
整套系统可以分成三个环节。
首先，context compiler 会整理上下文。它从示范视频中保留与任务有关的视觉变化，并把目标图片、动作记录、机器人此前的观察与执行结果组织起来。重点不是把整段视频原样塞给模型，而是保住“物体怎样变化”“动作按什么顺序发生”这些线索。
随后，VLM结合当前画面和任务要求，提出带参数的机器人动作，例如机械臂要移动到哪个位置、保持什么姿态、夹爪何时开合。这里的机器人策略（Policy），就是从“看到什么”决定“怎么动”的规则。
最后，constrained controller——带约束的控制层——检查动作是否能执行，把目标转换为机械臂命令，并将完成、拒绝或报错等结果送回模型。模型据此重新规划。论文特别区分了“模型宣布做完”和“现实中任务确实成功”：前者只是一次判断，后者还要看最终场景是否满足几何和语义标准。
这套设计真正想回答的，不是一个模型能否背下一段固定轨迹，而是通用模型能否从不同形式的现场信息里找出当前有用的部分，再把它变成物理动作。
一段人类视频，能帮到什么程度？
作者先让机器人捡红毛巾和拿起笔记本。没有示范时，两项任务都是 0/3 成功；加入一段不含机器人动作标签的人类视频后，两项都达到 2/3。
示范也减少了平均决策次数和耗时。捡毛巾从 96.3 次决策、24.6 分钟，降到 76.7 次、18.9 分钟；拿笔记本则从 94.0 次、24.6 分钟，降到 66.7 次、16.1 分钟。作者据此认为，人类视频提供了有用的操作顺序和抓取方式。机器人看到的是人怎么做，却仍需根据自己的身体和当前画面生成机械臂目标，这正是“跨身体模仿”最有意思的地方。
不过，三次试验中的两次成功，不能说明它已经掌握了一项可靠技能。更准确的说法是：在这组实验里，视频让机器人从完全失败变成了有时能完成。
精细接触，只看画面还不够
拧瓶盖和拔出再插回插头，对接触位置、姿态和运动过程更敏感。论文比较了三种条件：没有示范、只有机器人视频，以及视频加上时间对齐的动作参考。
拧瓶盖的成功次数依次为 0/3、2/3 和 3/3；插头任务则为 0/3、0/3 和 2/3。动作参考包括末端执行器姿态、夹爪状态和动作命令，相当于不只让机器人看“画面变成了什么”，还告诉它示范中的手具体怎样移动。
两项任务中，动作参考都带来了最高的观察成功率，但没有稳定降低成本。插头任务加入动作后，平均决策次数反而从无示范时的 24.0 次升到 48.3 次，平均耗时从 5.3 分钟升到 10.8 分钟；这些平均值也包含失败试验。它说明更多上下文可能帮助完成任务，却不等于动作更少或速度更快。
论文给出一个可能解释：视频只有稀疏关键帧，中间运动仍要靠模型猜。拧瓶盖示范保留了 13 个视频关键帧，却配有 205 个动作样本；插头示范是 14 个关键帧和 131 个动作样本。更密集的动作记录减少了关键帧之间的歧义。但这仍是作者的解释，现有实验不足以确认因果关系。
上下文不只是一段示范
GPT-Policy还测试了另外三类现场信息。
一张目标图片可以直接表达最终布局。机器人在排列 T 形和摆放水果两项任务中都取得 3/3 成功。图片同时交代物体身份、相对位置和间距，省去了用文字精确描述空间关系的麻烦。不过论文只提到初步定性比较中，带目标图的结果更接近目标布局，没有提供无目标图的正式对照数据。
机器人自己的交互历史也可以成为上下文。它会保留此前看到了什么、做了什么以及结果如何。在两项相关任务中，机器人都取得 3/3 成功；作者还观察到它先移开毛巾，找到被遮住的粉色盘子，再把柠檬放上去。这表明历史记录可能支持中间步骤规划，但该条件同样缺少无历史记录的配对对照。
人的在线动作也能临时改变任务含义。井字棋中，历史记录帮助机器人追踪双方走过的位置和当前轮次；指水果任务中，人的手势告诉它应该选择哪个目标。两项各为 3/3 成功，其中井字棋把获胜和和局都算作完成。
为什么值得关注
过去说机器人“适应新任务”，常让人想到再训练一套策略。GPT-Policy换了一个问题：通用 VLM已经会从上下文理解例子，那么能不能把这部分能力直接接到机器人身上？
答案目前是有限的“可以”。不同上下文各有分工：目标图说明结果，视频展示过程，动作记录补充精细运动，交互历史保存试错经验，人类反馈则在现场澄清意图。它们共同指向一种更灵活的部署方式：机器人离开训练环境后，先读取眼前的新信息，再调整行为，而不是每换一个任务就从头训练。
更重要的是，这篇论文把“理解任务”和“可靠执行”分开了。上下文可以让机器人更接近正确策略，却不能自动解决接触、校验和安全问题。论文报告实验中多次出现双臂碰撞，也明确表示现有保护措施不足以支持安全的自主部署。会看例子，不等于手上功夫已经可靠。
局限与未知
- 实验覆盖的任务、平台、模型和上下文条件都较少，每个条件只有三次重复；部分条件缺少完整对照，因此不能据此判断普遍增益或稳定性。
- 论文把主要 VLM称为 GPT-6 Astra，并引用官方发布，但本专题材料没有第二个独立来源核实其名称、商业可用性及所谓广泛智能体能力。文中的模型比较也只是单次运行，作者明确说不能据此建立可靠排名。
- 机器人仍会出现接触失败、结果验证不准和双臂碰撞。GPT-Policy展示的是一种研究框架和早期证据，不是已经可放心部署的通用机器人方案。