你让机器人收拾一间杂乱的屋子。它不只要认出水壶和收纳箱,还得走过去、蹲下来、保持平衡,再用合适的力度抓取物品。如果两台机器人一起干活,它们还要知道谁负责哪一步、何时交接。这类任务难就难在:看懂、规划、行动和协作必须连续发生,任何一环出错,整件事都可能停住。
Google DeepMind 在 7 月 30 日推出的 Gemini Robotics 2,正试图把这些环节接成一套可编排的机器人系统。它同时推进全身控制、灵巧操作、连续视频理解和多机器人协作。换句话说,重点不再只是让机器人漂亮地完成一个动作,而是让它在几分钟里持续理解现场、安排步骤并调动不同的身体或机器完成任务。
具体能力和评测数据目前主要来自 Google DeepMind 的官方材料;Bloomberg 的报道只能独立印证 Google 发布了面向机器人灵巧性的 Gemini AI,尚无第三方复现支撑更具体的效果判断。
三个模型,不是一个万能大脑
Gemini Robotics 2 既是整套模型的名称,也是其中一个模型的名称。官方把套件分成三部分,各管一层工作。
同名的 Gemini Robotics 2 是视觉—语言—动作模型,也就是 VLA。它把摄像头看到的画面、人的文字指令和机器人动作放进同一套系统处理,负责把“把水壶放进底层绿色箱子”这样的意图,转成具体的运动控制信号。
过去一代模型主要控制人形机器人的上半身,处理桌面任务。新模型把范围扩展到完整人形机器人和双臂机器人,可以同时协调腿、躯干、手臂和手指。全身控制并不只是“多控制几个关节”:机器人走动、弯腰和伸手时还要保持平衡,动作之间必须彼此配合。Google DeepMind 展示的 Apollo 2 机器人会走到桌边拿起水壶,再走向货架,把它放进底层指定箱子。官方也承认,机器人的移动速度仍需提高。
它还把精细操作扩展到不同类型的“手”。官方称,模型可以控制 Apollo 2 上具有 22 个自由度——可独立活动维度——的五指 SharpaWave 手,完成打结、封合密封袋等动作;也能控制 Franka Duo 平台的双指夹爪进行紧密装箱。这里展示的是能力范围,还不能据此判断它在不同环境中的成功率。
第二个模型 Gemini Robotics ER 2 负责高层思考。ER 是具身推理:AI 不只生成文字,还要结合机器人身体所处的空间、时间和动作后果作判断。它理解连续视频,与人交流,把持续数分钟、涉及数百次决策的目标拆成步骤,再把运动执行交给底层 VLA 或机器人 API——也就是机器人已有的导航、机械臂等控制接口。
第三个模型 Gemini Robotics On-Device 2 是本地运行版 VLA。它面向不能依赖网络连接或难以接受网络延迟的场景。Google DeepMind 称,它能用几小时的数据适配全新的机器人形态。不过官方没有披露这里所需数据的规模、任务范围和适配后的具体成绩。
真正的变化在“边做边想”
复杂任务很少是写好步骤后从头执行到尾。机器人拧灯泡时,要判断是否已经拧紧;倒咖啡时,要在合适的一刻停手;扎垃圾袋时,还要确认袋口是否真的扎好。固定脚本很难覆盖中途打滑、洒漏或位置偏移。
ER 2 因而持续观看视频,把每一帧归入五个进度区间:0%—20%、20%—40%,依此直到完成。这样,机器人可以判断当前做到哪一步,失败后重试局部步骤,而不是重启整条流程。Google DeepMind 报告其进度分类准确率为 57.4%,高于上一代和参与比较的前沿模型,但材料没有给出各对手分数。
另一项“关键时刻定位”评测,考的是模型能否找到事件发生的准确视频帧,例如咖啡应该停止倾倒的时刻。官方给出的准确率是 91.3%,预测时刻与正确时刻的平均绝对距离为 0.96 秒;同时声称其执行速度达到较大模型类别的 4 倍,计算成本更低。材料没有披露样本量、完整对照设置或成本数字。
速度在这里不是单纯的体验指标。机器人若每做一步都停下来思考,动作会断断续续,也可能错过及时纠正的窗口。ER 2 接入 Gemini Live API 的双向流式端点——模型与机器人可以持续互传视频、声音、文字和指令——因此能在执行当前动作时推理下一步。官方把这种设计概括为减少“stop-and-think”停顿。
协作先靠编排,不靠机器人各显神通
多机器人协作主要属于 ER 2 的高层编排能力,而不是同名 VLA 单独完成的功能。任务编排,就是先把复杂目标拆成步骤,再安排不同模型、工具或机器人依次接手。
这很像两个人一起收拾房间:关键不只是两个人都会拿东西,而是谁更适合搬运、谁负责精细整理,以及前一步完成后如何通知下一位。ER 2 为不同机器人提供共享的语义理解,让它们能够交接任务。Google DeepMind 展示了 Apptronik Apollo 2 与 Franka F3 Duo 协作,也展示了 ER 2 调用 Boston Dynamics Spot 的导航和机械臂接口,根据自然语言指令取来爆米花。
官方还在三种控制模式下测试了工具编排:真实 VLA、模拟 VLA,以及由人远程操控机器人。ER 2 在三种模式中都优于 ER 1.6,但没有公布具体分数、样本量或第三方复现结果。因此,这一结论更适合看成产品方向的证据,而不是已经确定的行业基准。
为什么现在值得关注
Gemini Robotics 2 的意义不在某一个打结演示,而在于它把四个原本容易分开的能力连了起来:VLA 负责把理解变成动作,全身控制扩大可行动范围,连续视频理解负责盯住进度,ER 2 再把模型、接口和多台机器人编进一条工作流。
这标志着具身智能——让 AI 通过机器人身体感知环境并采取行动——正在从“会做某个动作”走向“能管理一件事情”。机器人是否真正通用仍未有答案,但评价重点已经开始变化:不仅看它能不能抓起物体,也看它能否知道任务何时开始、哪里出了错、什么时候该交给另一台机器。
局限与未知
- 主要能力与效果均来自 Google DeepMind,关键评测尚未给出完整分数、样本量和第三方复现;“此前难以完成”等表述也属于官方判断。
- 开放范围并不统一。官方材料明确称 ER 2 可在 Google AI Studio 使用,并进入 Gemini Enterprise Agent Platform 私有预览;另一篇官方博客还提到 Gemini API。VLA 与 On-Device 2 目前只提供给 early-access partners,不能说整套系统已经全面开放。
- 官方承认机器人移动速度和达到人类水平的灵巧性仍需继续改进;材料也没有披露长期运行的可靠性、安全表现和跨机器人适配的详细条件。