你让两个机器人都把杯子往左移。一个系统把动作记成一串位移数字，另一个却用完全不同的数字表示关节和力度。对人来说，它们在做相似的事；对模型来说，却像两门互不相通的语言。LaLa-World 想解决的，正是这道“翻译题”：把不同数据集里的动作都写成自然语言，让一个世界模型跨机器人、跨仿真环境，甚至跨普通图像和视频共同学习。
这项工作的意义不只在于让机器人听懂指令。它更像是在给世界模型设计一种通用插口。过去，动作空间通常由特定设备和任务定义，模型换一个环境，往往也要换一套输入方式、单独训练。LaLa-World 则尝试让语言承担接口：无论原始动作是二维位移、推力还是机械臂控制，都先改写成文字，再交给同一个未来预测器。
以下性能与效率数字均来自论文作者团队，尚无独立第三方复现。论文材料也没有完整给出方差、统计显著性和所有计算口径，阅读时应把它们视为作者报告的结果。
先把动作“说出来”
世界模型，是一种预测“采取某个动作后，环境会怎样变化”的模型。比如机器人准备推杯子，它可以先在内部试演几种推法，再选择最接近目标的一种。
LaLa-World 属于潜在世界模型：它不必逐像素画出下一帧，而是先把画面压缩成内部状态，再预测这个状态如何变化。论文采用 JEPA 式思路——预测未来画面的关键表征，而不是复刻每个像素。这样做的直接好处，是模型可以更便宜地反复推演候选未来。
难点在动作。不同环境中的数值动作维度不同，含义也不同。同样一组数字，在一个环境里可能表示水平和垂直位移，在另一个环境里可能表示向下施力。LaLa-World 用固定模板把这些数字翻译成文字，例如“向左移动 2、向上移动 4”或“以力度 2 向下推”。数字仍被保留，但表达形式统一了。
研究团队对七个仿真和机器人数据集做了这种转换，并把它们放在一起训练。更关键的是，语言还让没有控制信号的视觉数据接了进来：带文字描述的视频，以及带编辑指令的图像对，也能提供“画面如何变化”的训练样本。模型因此不只看到格式固定的机器人动作，还能接触更丰富的措辞和视觉变化。
让语言模型来预测未来
只有把动作写成句子还不够，未来预测器必须真正读懂这些句子。LaLa-World 的第二个设计，是直接用预训练语言模型充当预测器，默认骨干为 Qwen3.5-0.8B。
它同时接收两类输入：当前画面压缩后的视觉表征，以及描述动作的文本。视觉表征先经过映射，进入与文字相同的表示空间；预测器随后输出未来的视觉表征。训练目标很直接：让预测结果尽量接近真实下一时刻的内部状态。
这一步妙在，它没有另配一套文本编码器，也没有要求模型生成清晰视频。可以把它理解成：模型不负责把“未来”画出来，只负责判断未来场景最重要的状态会变成什么。论文还刻意不输入机器人的本体状态——例如各关节位置。原因是这类信息通常依赖具体设备，不利于训练一个跨领域模型。
规划时，它怎样“先想后做”
论文用 MPC，也就是模型预测控制，测试 LaLa-World。它的工作方式很像在落子前试算：规划器先生成多组候选动作，让世界模型逐组推演，再比较哪一种结果最接近目标画面。执行其中一小段后，它取得新观察，再重新规划。
在五个仿真任务上，作者报告 LaLa-World 的平均成功率为 72.1%，比 JEPA-WMs 高 7.5 个百分点。Push-T 上的成功率从最佳基线的 68.8%升至 81.2%。在训练时没有纳入的 RoboCasa 环境中，它在 Reach 和 Place 两项任务上的零样本成功率分别为 40.6%和 46.9%。零样本意味着模型没有针对该环境继续训练，直接尝试迁移。
把普通图像和视频加入训练后，平均规划得分由 59.3升至 61.6。作用不只体现在分数上。研究者把测试指令换一种说法，例如把“移动夹爪”改成“挪动机器人手”，全数据版本仍较稳定；只用控制轨迹训练的版本，平均得分则下降 6.8 分。这说明额外视觉数据至少在实验中帮助模型把动作含义与固定模板分开。
模型还可以处理“稍微向下移动”这类不含精确数字的动作。研究团队把动作幅度划分为“稍微”、无修饰词和“远”等三级，再让规划器使用这些语言条件。论文展示了 Wall 和 RoboCasa 中的成功案例，不过材料没有提供这项测试的汇总成功率，因此还不能判断它在多大范围内稳定成立。
为什么不直接生成视频
生成未来视频很直观，但规划器需要反复比较大量候选动作，逐像素生成可能成为负担。论文因此把 LaLa-World 与基于 RAEv2 的视频生成世界模型做了匹配比较：两者使用相同语言条件、训练数据和视觉编码器，预测器规模都约为 8 亿参数。
在 8 张 H100 GPU、12 小时训练预算下，LaLa-World 用 2 小时达到 RAEv2 五步去噪版本训练 12 小时后的表现，随后取得 59.4%的规划成绩；RAEv2 的最佳结果为 48.0%。按作者汇总，它以约 6 倍更低的训练成本取得相当规划表现，规划速度快 13.9 倍。这些倍数依赖特定硬件、实现、去噪步数与统计口径，不能理解为对所有视频模型的普遍优势。
结果指向一个朴素判断：如果目标是选择动作，模型未必需要先把未来画得足够逼真。抓住能区分候选结果的视觉状态，可能更实用。
从“会预想”到“会行动”
研究团队还把预训练模型继续微调成 LaLa-Policy。策略是机器人根据当前状态选择动作的规则；策略微调，则是让原本擅长预测未来的模型进一步学会输出动作。
LaLa-Policy 同时预测一段动作和未来视觉表征。作者报告，它在 LIBERO 与 RoboCasa 上可与 Cosmos Policy 竞争，单条轨迹的推理速度最高快 5.5 倍。这里的“最高”是最佳情形，不是平均结果。用 LaLa-World 初始化，也优于随机初始化和仅用 Qwen3.5 初始化，说明跨数据预训练获得的动态知识可能帮助了后续策略学习。
为什么值得关注
我们此前讨论过，潜在世界模型可能“预测得准却规划得错”，也拆开看过视频世界模型的动作执行、记忆和三维一致性。LaLa-World 转向另一个更基础的问题：训练数据怎样扩大。
它给出的路线很清楚。语言不只是人向机器人下命令的界面，也可以成为数据之间的协议。数值动作、机器人轨迹、仿真轨迹、图像编辑和视频变化，原本各有格式；一旦都被描述成“发生了什么变化”，就有机会训练同一个预测器。真正值得看的不是某个单项分数，而是这种统一接口能否持续容纳更多领域，而不必为每种设备重建一套模型。
局限与未知
- 所有主要结论目前都来自论文作者。材料未提供多数任务的方差、样本量、统计显著性，以及若干完整对照数值，跨模型的“更好”与“可竞争”仍需独立复现。
- 效率结果依赖 H100 GPU、具体模型实现、批量和去噪设置。13.9 倍规划加速与最高 5.5 倍推理加速，不应外推到其他配置。
- 论文提出的后续方向仍包括扩大数据和模型、延长预测范围，以及在真实机器人上评估策略。另据核查备注，arXiv 编号 2610.27851 的时间指向较新的文献范围，正式发布前仍宜复核论文链接、上线日期与元数据。