你让机器人“把抽屉里的毛巾拿出来，再放到盘子上”。它不只要听懂这句话，还得找到毛巾和盘子，安排先后顺序，并在手臂挡住摄像头时记得任务做到哪一步。现在的主流做法，像是让一个人负责理解和规划，再把结果转交给另一位只管动作的执行者。G0.5 想把两份工作重新交给同一个模型：让机器人一边用语言拆解任务，一边直接生成身体动作。
这是一种 Vision-Language-Action（VLA）模型——把摄像头画面、语言指令和机器人动作连在一起。论文作者认为，它值得关注的地方不只是成绩，而是架构上的逆流而行：不用独立的动作专家承担最后决策，而让一个 Transformer decoder——逐个生成序列内容的核心网络——同时负责“想”和“做”。不过，本文的架构、能力与实验结果都来自作者团队这一篇论文，尚不能视为外部复现。
为什么主流路线要把“想”和“做”分开？
早期 VLA 会把动作也做成 token——模型能够逐个输出的动作符号。模型随后像逐字写句子一样，根据前面内容预测下一个动作。这叫自回归生成。
问题在于，机器人控制频率越高、关节越多、要连续执行的时间越长，需要生成的动作 token 就越多。逐个生成会变慢，也会变贵。于是，主流架构逐渐改成“VLM 加动作专家”：预训练视觉语言模型（VLM）负责看图、理解指令和提供上下文；外挂的 flow-matching 动作专家再把随机动作逐步修正成可执行的连续动作。
这种分工提高了动作生成效率，但也改变了 VLM 的角色。它不再亲自决定下一步怎么动，只提供压缩后的条件。语言推理、根据提示临场调整等能力，必须隔着这层接口才能影响动作。
G0.5 选择回到自回归路线，但先处理它原本最昂贵的部分：动作 token 太多。
关键一步：先把动作“压缩成短句”
G0.5 从 Qwen3.5 2B 视觉语言模型初始化。它用一个可学习的 ActionCodec，把不同机器人的连续动作压缩成共享的离散词表。不同机器人可能有不同形态、关节数量和控制频率；这套编码器把动作按左侧控制、右侧控制和下半身等部位分组，再映射到统一的 27 维动作空间。
可以把它理解成一套跨机器人速记法。模型不必为每一个关节、每一个时刻写下冗长指令。它用紧凑代码表达一小段动作，而且只生成当前真正活动的身体部位。比如一侧手臂没有动，模型就可以跳过对应 token，而不是用占位内容填满序列。
这一步让自回归控制重新变得可用，也让不同形态的机器人可以共享同一个输出头，不必为每种机器人另配一套参数。
思考不是前置报告，而是动作流的一部分
G0.5 的第二个变化，是把 chain-of-thought（CoT，模型生成的中间推理步骤）直接插进动作序列。模型可以先输出子任务、关键物体的位置框、二维运动轨迹或动作提示，然后继续生成动作；也可以在动作之间再次推理。
例如，面对“把物块放进抽屉并关上抽屉”，它可以先生成“找到物块”“定位抽屉”“放入”“关门”等子目标，再让这些中间结果直接影响后续动作。推理 token 和动作 token 使用同一个 decoder、同一套权重和同一个训练目标。对模型来说，它们都是下一步要预测的内容，而不是两个模块之间传递的报告。
训练时，团队把 14 种机器人形态的数据与网页视觉问答、具身视觉问答等 VQA 样本混合起来。VQA 是“看图回答问题”的训练数据，用来维持语言能力并加强空间理解。机器人样本则从八种推理格式中选择一种，包括不生成 CoT、生成子任务、物体框、二维轨迹或动作提示等。论文称，这种共同训练让预训练 VLM 的语言和视觉能力能够更直接地进入身体行为。
它还需要记住刚才看见了什么
机器人只看当前一帧，容易在手臂遮挡镜头或环境杂乱时失去线索。G0.5 因此加入 visual memory module——把数秒内的稀疏历史画面送入视觉编码器的短期记忆机制。
它分别处理画面中的空间关系和跨时间变化，避免直接堆叠全部历史画面带来的高计算成本。最终层会丢弃历史 token，以限制延迟；训练时还会随机去掉历史帧，减少模型对固定时间轨迹的依赖。它不是完整保存过去，而是给当前判断留下一小段视觉上下文。
成绩支持了什么？
论文称，G0.5 在七类评测设置中达到或超过对比模型。最直观的一组来自 R1-Lite 和 R1-Pro 机器人的真实世界微调评测：合并成绩为 76.7%，对比 π0.5 的 53.3% 和 GR00T-N1.7 的 24.4%。材料没有给出两种机器人的分别得分和汇总方法，因此这组数字更适合说明总体差距，不能拆解成具体平台结论。
长任务更能检验“边想边做”。在 2025 BEHAVIOR Challenge 的 50 个家庭移动操作任务上，每个任务平均持续 6.6 分钟，需要移动和双臂操作配合。G0.5 的单一通用策略得分 31.4%，论文列出的 π0.5 为 26.3%，挑战赛冠军为 26.1%。这与作者关于长时程执行的主张一致，但材料没有证明三者采用完全相同的训练和评测条件，差距不宜被理解成严格的同场胜负。
另一组测试更接近“换房间还能不能干活”。G0.5 在 DROID 数据上继续训练后，被部署到训练阶段没有出现过的实体环境和物体实例中，平均成功率为 82.5%。10 项桌面任务各做 10 次；其中“把物块放进抽屉再关门”允许完成第一步得到半分。论文还主动报告了一个弱点：半透明白色抽屉缺少视觉对比时，G0.5 在毛巾放入任务中只有 60%；加入橙色定位标记后升至 100%。这说明模型的空间判断仍会明显受视觉线索质量影响。
为什么值得关注？
G0.5 挑战的不是某个小模块，而是一条行业默认分工：视觉语言模型究竟只是给动作专家准备材料，还是应该亲自成为行动者。
它给出的答案很直接。先用可学习的动作编码器压缩控制序列，再让语言推理和动作共享权重、上下文与训练目标，最后补上一段短期视觉记忆。这样，提示词不只改变“理解结果”，还有机会直接改变下一个动作的分布。
论文在两项未见过的长时程家庭任务上做了小规模定性观察：副词、空间提示和近义动词的变化会让动作过程出现可见差异。作者把它称为无需再训练、仅靠提示词控制动作粒度、任务时域和分布外场景处理的早期迹象。这个方向很有吸引力，但目前仍是定性线索，不是系统性的能力证明。
局限与未知
- 所有架构和效果论断都来自作者团队，尚无外部复现；“七类评测超过先进模型”也是论文自己的概括。
- LIBERO、RoboTwin 2.0 和 SimplerEnv-Bridge 分别报告 98.9%、93.3% 和 87.3%，但供稿没有完整提供指标定义、方差和重复次数，不能把这些百分比直接横向比较；语言跟随 Pick-and-Place 评测也未给出具体成绩。
- 提示词能否稳定控制真实机器人行为，目前只有小规模定性观察。论文也把系统性研究留给未来。