你教机器人认识“红杯子”，直觉上会把这几个字直接送进它的视觉系统，让语言帮助它调整内部表示。但这可能像给档案编号时，允许每位使用者按自己的说法改编号：一开始方便，后来同一件东西不断换号，整套索引反而失效。
Jiayi Fang 的这篇论文追问的正是这个接口问题：语言应该怎样进入机器人的世界模型——也就是机器对环境状态及其变化形成的内部表示。作者给出的答案很克制：先让机器人从物理经验中形成稳定符号，再让语言给这些符号命名；语言可以读取和关联符号，却不能直接改写它们。
这也接续了我们 7 月 11 日讨论 LingBot 时留下的问题：连续看到世界，不等于拥有可以随时恢复的世界状态。今天的问题又往前一步。即使机器人已经开始编码世界，这套编码会不会被语言任务带偏？
本文所有实验结果均为论文作者自报，尚无独立复现；论文的部分公式与实验字段在供稿文本中残缺，因此这里只采用能够明确核对的设置和数字。
问题不在语言太弱，而在它拿到了写权限
先解释两个关键词。语言落地（language grounding）是把“拿起红杯子”这样的文字，对应到真实画面、物体和动作。离散符号瓶颈则把复杂画面压成有限编号，例如用 64 个符号表示不同环境状态。“瓶颈”迫使模型保留关键结构，但训练失控时，它也可能只剩几个常用编号。这叫符号坍缩。
许多训练依赖梯度——告诉模型参数下一步该往哪里调整的信号。论文针对的风险是：如果来自语言标签的梯度穿过离散符号层，物理符号就可能为了迎合当前词语而改变。作者把 RT-2、Octo 和 PaLM-E 概括为端到端注入 LLM/VLM 特征的主流方向，并质疑其中隐含的假设：语言梯度是否适合直接塑造物理符号。这个概括外推较大，论文并未证明所有此类系统都会遇到同一种故障。
作者先测试 Gumbel-softmax——一种把“选择哪个离散符号”暂时近似成平滑概率、从而允许梯度训练的技术。在标准设置下，5 次不同随机种子的实验有 4 次坍缩，平均只使用 64 个符号中的 2.2 个。
常见补救也没有同时解决两件事。高温度、低学习率、谱归一化和熵奖励等策略把符号使用量维持在 4 至 17 个，却没有学会语义标签，表现接近 2.8% 的随机水平。作者还测试了正交正则化。论文据此认为，这不是多调几个参数就能消除的毛病，而是语言梯度与离散接口之间的结构性冲突。不过，“任何语言梯度都会如此”仍是作者基于这些设置提出的强结论，现有材料不足以把它推广到所有架构。
先锁住编号，再贴标签
论文提出三层修复，每层各管一种故障。
第一层是梯度截断，也就是给物理符号加“写保护”。实现上使用 z.detach()，让语言损失的梯度到此为止，不能回头修改编码器和符号瓶颈。它能防止符号被语言改坏，却不能独自回答“17 号符号是什么意思”。
第二层是一块与梯度隔离的 blackboard（黑板）。它不是神经网络，而是一张没有可训练参数的计数表。机器人看到某物时，物理引擎写下符号；语言引擎同时提供“红色方块”之类的标签。黑板只统计两者共同出现多少次。次数积累后，稳定的符号便与标签建立对应。
可以把它理解为博物馆的藏品号与说明牌：库房先给藏品分配稳定编号，讲解员再把名称挂到编号上。讲解员可以补充或纠正说明，却不能因为换了一种讲法，就把库房的编号系统重新排一遍。
第三层处理“撞号”。有限符号可能让多个物体共享同一编号，单纯数共同出现次数便会混淆。作者采用 DP-Means 流式聚类——一种边接收数据、边按差异拆分分组的方法——自动建立子簇。在 36 个物体的消融实验中，三层齐全时语言落地准确率为 97.2%；拿掉这一层后只有 22.2%。这说明计数表能工作，并不代表冲突会自行消失。
真正的新意是一条边界
这项工作的重点不是发明更强的符号学习算法，而是改变提问方式：不要只问“怎样学出更好的符号”，还要问“谁有权修改符号”。
作者把过程拆成两段。第一段完全依靠物理观察形成符号，此时符号还没有语言意义。第二段才让语言通过共同出现次数为它们命名。语言仍能建议行动，引导机器人去看哪些东西；机器人随后重新感知环境，物理模型从新的经验中学习。语言因此可以通过环境间接影响经验，却不直接改写内部符号。
作者在 CNN、V-JEPA 300M 和 CLIP ViT-L 三种编码器、网格世界与 MuJoCo 3D 桌面两个环境，以及三种纹理条件下测试了这一结构。论文报告，Dual-Engine Architecture 统计的 32 个随机种子均未发生符号坍缩，blackboard 的语义绑定结果为 79% 至 100%。两项实验合计包含 74 次独立运行，但论文没有清楚交代它与这 32 个种子的包含关系，因此不能说“74 次全部无坍缩”。
另一个实用点是模块边界清楚。编码器只做推理，blackboard 只做计数，LLM 只负责行动建议和标签，不进入训练回路。作者称实际训练的注意力池化、VAE、状态转移模型和社会预测头合计少于 200 万参数，也不需要微调 LLM。这里说的是可训练参数，不是完整系统规模，更不等于已经证明部署便宜。
为什么值得现在看
机器人研究常把端到端训练视为整合能力的自然方向：数据和模型越多，各模块越容易共同优化。这篇论文提供了一个有价值的反例视角。模块之间并非连接得越深越好；某些接口需要传递信息，却必须禁止一方用自己的训练目标重写另一方的表示。
如果这个观察能在更多任务中成立，语言在机器人里的角色会更像“调度者和命名者”：告诉机器人去哪里观察，并给已经形成的经验贴上名称。它不是直接替物理系统决定世界应该怎样编码。这个区分也把问题从“需要多大的 LLM”转向“语言究竟拥有什么权限”。
局限与未知
- 论文明确把自己定位为负面结果加最小基线，并未声称达到机器人任务的最佳水平，也没有与 RT-2、Octo 等完整系统进行同任务性能比较。
- “结构性限制”目前建立在论文选择的离散瓶颈、训练方案和实验环境上。缺少外部复现、误差区间及更广泛架构验证，不能据此断言所有端到端语言机器人都会失败。
- 语言通过行动改变经验的“环境回路”证据较弱。作者在 15 对实验中只观察到方向一致但较小的优势，并承认现有设计不足以单独验证这一机制。