你教过一台机械臂叠毛巾，换一台机械臂，往往又得从头收集数据、重新训练。原因不只是外形不同：它们的关节数量、摄像头视角和控制指令都可能对不上。人类演示视频更丰富，却通常没有机器人能直接执行的动作标签。Princeton University 的 Kechen Liu 和 Ola Shorinwa 提出 CLAP，想把这些彼此不兼容的视频经验装进同一套模型，让不同“身体”共享对物理世界的理解。
CLAP 是一个跨具身视频世界模型。具身形态（embodiment）指智能体用什么身体与环境互动，例如人手、单机械臂、双臂机器人或人形机器人。世界模型（World Model）则像机器脑中的预演环境：给它当前画面和一个动作，它生成接下来可能出现的视频。机器人可以先在这种视觉模拟里“试走几步”，再决定现实中怎么动。
论文进一步把它称作“零样本物理模拟器”。零样本（zero-shot）在这里指不为当前任务额外收集数据或训练，就直接尝试预演动作后果。不过，这一说法目前主要来自作者团队自己的实验和定性判断，尚无独立信源复核。
先让不同机器人说同一种动作语言
跨机器人训练首先卡在动作格式上。论文举例，WidowX 和 Franka 分别有六个与七个自由度，也就是可独立控制的运动维度。动作条件视频生成模型需要接收固定格式的指令，不能把每台机器人的原始关节数值直接混在一起。
CLAP 为此准备了三种动作表示。
第一种是末端执行器位姿。末端执行器（end effector）就是机械臂真正接触物体的手或夹爪。CLAP 不纠缠每个关节怎么转，而是统一描述夹爪的位置、朝向和开合状态，形成七维动作。可以把它理解为只说“手要到哪里”，把不同手臂内部的骨骼差异暂时藏起来。模型还按机器人分别归一化动作范围，让大小和活动半径不同的机械臂落进统一边界。
第二种是语言动作，即把连续数值改写成简短的文本化动作。它容易接入已有文本条件模型，但文本分词器——把文字切成模型可处理符号的工具——不擅长保留高精度数值。论文因此使用紧凑模板，并降低动作精度。代价是控制分辨率不如连续的末端执行器数值。
第三种是潜在动作（latent action）。模型观察前后两帧，自行压缩出一个低维符号，用它概括画面之间发生了什么变化。这样，即便人类视频没有“夹爪向左移动三厘米”之类的标签，也能参与训练。但这种内部符号不是现实机器人的控制命令，部署前仍需把两者对齐，而额外的转换可能损害预测质量。
先看录像学物理，再学习怎么下指令
CLAP 最关键的设计，是不强迫一种表示包办全部工作，而是采用课程式训练。
第一阶段，模型利用潜在动作观看大量无标注视频，学习物体怎样移动、折叠或倾倒。论文的出发点很直观：无论推动瓶子的是人手、Franka 机械臂还是 WidowX 夹爪，瓶子仍受相同物理规律约束。第二阶段，研究者换上接收末端执行器动作的模块，再用带动作标签的机器人视频训练，同时保留此前学到的视频预测能力。
这像先让学生从各种录像中形成运动直觉，再教他一套能真正操作机器的标准指令。作者把这一版本称为 CLAP-CURR。它试图同时保留潜在动作的数据规模优势，以及末端执行器动作可直接落到现实控制空间的优势。
模型生成视频时还会参考一段历史画面和过去的机器人位姿，因为一张静止图无法告诉它物体正往哪个方向运动。它也能同时预测多个摄像头视角。论文采用视频扩散模型：模型从带噪声的表示出发，逐步还原动作发生后的未来画面。
它真的能模拟多种机器人吗？
作者在 Open X-Embodiment 和 EgoDex 数据上训练跨具身模型。每次训练运行使用八张 H100 或 H200 GPU，训练十万步，约需两到三天。评估覆盖 DROID、Bridge，以及后续适配的双臂 YAM 机器人和 G1 humanoid 等场景。这里要注意，DROID 和 Bridge 在文中是数据或评测环境，不能都当作机器人形态；论文也没有证明所有场景都由一组完全相同、未经调整的权重覆盖。
在视频预测上，作者报告 CLAP 的跨具身版本在较难的 DROID 环境中接近单一具身强基线 Ctrl-World。两者使用相同模型架构、参数规模和训练设置，而 CLAP 实际接触的 DROID 样本更少。作者据此认为，其他机器人视频提供的物理经验发生了迁移。
结果并非处处占优。在较简单的 Bridge 环境中，CLAP 生成的未来画面质量较高，但没有精确追上团队自行训练的单一具身 Bridge-Base。论文称视觉差异大多较小，却没有在供稿文本中给出足以独立核算的完整分数。
三种动作表示也有明确取舍。末端执行器动作比语言动作更适合精细预测；潜在动作在混合机器人数据上可以达到或超过末端执行器动作的预测准确度，但更难直接部署。对于末端执行器条件，绝对位置优于相对位移，作者认为相对误差会随预测步数累积；换成语言条件后，结论反过来，因为较窄的相对动作范围更适合分辨率有限的文本符号。
论文还比较了人类视频与多机器人视频。作者发现，只从人类视频提取潜在动作的 DreamDojo-Human 基线明显较弱。他们据此判断，人类视频可以提供基础物理先验，但机器人视频仍是把这些知识迁移到机器人身体上的关键材料。
从“生成得像”走向“帮机器人选动作”
更实际的测试，是让 CLAP 在执行前比较不同机器人策略提出的候选动作。策略可以理解为机器人决定下一步怎么做的控制模型。CLAP 分别预演这些动作，再由视觉语言模型根据初始与最终画面打分，机器人执行预计回报最高的一条路线。
作者在 DROID 环境的单臂 Franka Panda 上测试五项任务，包括搬运胶带、鱼、盒子、龙虾和折毛巾。论文称，CLAP 在所有任务中都能持平或改善基础策略的成功率。它还在双臂 YAM 的多阶段放置任务上进行了压力测试，并报告高于基础策略的成功率。不过，供稿中的具体试验次数与成功率数字缺失，因此无法判断提升幅度和统计稳定性。
少样本适配是另一条路线。少样本指只用少量目标机器人数据继续训练。对于训练中见过的 Bridge 和 DROID，作者称适配后的模型在几乎所有感知指标上超过单一具身基线。对于双臂 YAM 和 G1 humanoid 这类动作空间差异更大的新形态，研究者替换动作输入模块，保留其余视频模型参数，再做微调。这说明 CLAP 更准确的定位不是“一套权重原封不动控制所有机器人”，而是一套可零样本预演、也可作为新机器人训练起点的跨形态底座。
为什么值得关注
机器人领域长期面对数据孤岛：一台机器收集的动作轨迹，很难直接交给另一台机器使用。CLAP 尝试把共享对象从“关节指令”上移到“动作造成的视觉后果”。如果这条路线成立，新机器人不必只靠自己的昂贵数据学习世界怎样变化，还能吸收其他机械臂乃至人类视频中的共同物理经验。
它也改变了视频生成在机器人中的角色。模型不只是生成一段看起来合理的画面，而是充当可查询的预演器：同一场景下输入不同动作，比较各自可能造成的结果。真正重要的门槛因此不是画面是否漂亮，而是预测误差是否足够小，能够可靠地区分好动作与坏动作。
局限与未知
- 所有效果论断均来自作者团队这一独立信源。论文使用 SSIM、PSNR、LPIPS、FVD 和 FID 等画面相似度指标，但供稿缺少关键表格数值、误差范围和完整试验次数，无法核验“接近或超过最先进水平”的幅度。
- “零样本物理模拟器”并不等于通用、精确的物理引擎。文中展示的是特定机器人操作任务上的视频预测与候选动作筛选；它能否覆盖更长时间、更剧烈运动或训练分布之外的场景，材料没有回答。
- 作者声称 CLAP 是发布时最全面的动作条件视频世界模型套件，并称代码和模型全部开源，给出了项目网站与 GitHub 地址；但现有材料未提供许可证、模型清单及可下载性核验，这些仍应视为作者声明。