你推一下桌上的碗，画面里会同时出现三种变化：机械臂在移动，碗被推走，摄像头或光影也可能略有变化。人很容易分清谁是动作、谁是结果，但只靠视频学习的模型往往把它们混成一团。这样学出的“动作代号”虽然能帮助复原画面，却未必对应机器人真正能执行的控制指令。
SkeLAM 想解决的正是这层错位。它先要求模型按照机器人的骨架理解运动，再把骨架解释不了的画面变化另行保存。目标不是舍弃视觉细节，而是让“机械臂怎么动”和“环境随后怎么变”各归其位。
本文依据论文《Skeleton-Grounded Latent Action Model for Robot World Models》原文。实验结果目前均来自作者报告，尚无第三方复现。
视频里的动作，不等于机器人的动作
机器人世界模型，可以理解成机器人行动前使用的内部模拟器：给定当前画面和一个动作，它预测接下来会看到什么。机器人由此可以先预演，再判断某个动作是否可能奏效。
问题是，大量视频没有记录拍摄时的真实控制指令。研究者于是使用潜动作模型：比较前后画面，把其中的变化压缩成一个隐藏的“动作代号”，再用这个代号训练世界模型。
但复原视频的目标会鼓励模型记住一切有助于还原下一帧的信息。机械臂移动、物体受力后的反应、背景变化，都可能被塞进同一个代号。比如同样的末端执行器运动——也就是机械臂最前端夹爪的轨迹——在接触和未接触物体时，会造成完全不同的画面结果。日后再让真实控制指令去对应这个混合代号，目标自然不够稳定。
先看骨架，再解释剩下的画面
SkeLAM 把潜动作拆成两部分。
第一部分是运动学分量，专门描述机器人身体怎样运动。训练时，模型同时看到 RGB 彩色视频和机器人骨架图。骨架图抽掉了纹理、颜色和背景，只留下关节配置及其变化，相当于要求模型先回答：“按照这副机械身体，动作究竟是什么？”
第二部分是残差分量。残差就是主要结构解释不了的剩余信息，例如物体反应和其他视觉动态。它仍然对生成完整视频有用，只是不再与机器人动作挤在同一个表示里。
这里的关键设计叫 cross-modal swap reconstruction，中文可理解为“跨模态交换重建”。训练时，研究者把从 RGB 画面得到的运动学分量，换成同一段动作的骨架表征，同时保留 RGB 的残差，再要求模型复原同一个目标画面。如果替换后仍能完成重建，就说明两种来源表达的是兼容的运动，而不是各自使用一套只有自己看得懂的暗号。
世界模型也为两部分设置独立的条件通路。不过，残差来自未来画面，真正部署时并不能提前获得。SkeLAM 因此使用 branch dropout——训练中随机拿掉整条条件分支——让模型练习在缺少残差时，仅依靠当前观察和运动学分量预测未来。
最后，一个轻量级 adapter（适配器）负责把真实机器人动作映射到运动学空间。世界模型再经过后续微调，适应这种由动作预测出来的条件。推理时，它只接收当前画面和机器人动作，不再读取未来信息。
数字说明了什么？
作者在 DROID 数据上训练并评估模型，测试集包含 400 个片段；每段由一张条件画面和后续 12 帧组成。世界模型骨干为 Cosmos-Predict2.5-2B，一次完整训练约需两天 NVIDIA A100 GPU 时间。
与同属潜动作世界模型的 DreamDojo 相比，SkeLAM 把末端执行器 ADE 降低了 19.5%，把 LPIPS 降低了 11.1%。ADE 是预测轨迹与真实轨迹之间的平均位移误差，越低说明机械臂运动更贴近参考；LPIPS 衡量两幅图在感知层面的差异，越低通常表示生成画面更接近目标。绝对结果分别为 41.15 像素和 0.1310。
消融实验更能看出骨架约束的作用。完整模型的 ADE 为 41.15；去掉骨架监督后升至 64.59，去掉跨模态交换重建后升至 66.74，省略动作适配训练后则升至 65.84。也就是说，性能并非只来自“多加一种输入”：骨架监督、让骨架与 RGB 表征能够互换，以及把真实动作明确映射到运动学空间，三步都与最终的动作对应有关。
线性探针实验也提供了一层证据。所谓线性探针，就是冻结模型内部表示，只训练一个简单读出器，看其中是否容易解码出运动信息。SkeLAM 的运动学分量只用完整表示一半的维度，读出表现却已接近运动学与残差拼接后的结果。这支持它形成了较专门的运动表征，但还不能单独证明这种表征就是性能提升的因果来源。
为什么值得关注？
这个工作的价值，不只是“再提高几个指标”。它提出了一种更清楚的分工：从无控制标签的视频里继续吸收丰富的场景动态，同时用机器人身体结构限定哪部分才适合与真实动作对接。
论文还展示了 zero-shot human-to-robot motion transfer，即不额外训练，直接从人类示范视频提取潜动作，再用机器人初始画面生成后续运动。在推毛巾和拉纸巾的示例中，SkeLAM 分别生成了向下伸展和向上移动的末端动作，而 DreamDojo 的位移有限。这说明运动学表示可能跨越人与机器人的外观差异。不过，这目前只是生成结果的定性展示，不能等同于真实机器人已经完成了任务。
作者还用 7 个策略、15 个 RoboArena 场次，共 105 次记录动作回放来评估策略。SkeLAM 预测成功率的平均绝对误差为 4.76 个百分点，策略级 Spearman 与 Pearson 相关系数分别为 0.5347 和 0.6091；但成功案例召回率只有 33.33%。因此，更稳妥的结论是：模型对策略排序和总体成功率显示出一定一致性，但复现成功任务仍然困难。
局限与未知
- 当前策略评估采用开放环记录动作回放。模型预测不会反过来改变下一步决策，因此尚未回答误差在长期闭环交互中如何累积。
- 残差在训练时来自未来画面。branch dropout 虽然降低了模型对它的依赖，但训练与部署条件仍有差异，也需要继续排查潜在的信息泄漏。
- 人到机器人的迁移只有定性生成案例；现有实验不能证明真实机器人上的任务成功率或广泛泛化能力。