你戴着头戴相机走到桌前，伸手拿起杯子。对人来说，这是一个连续动作；对机器人模型来说，却是两道纠缠在一起的难题：身体移动会改变眼前画面，手的动作又会改变物体状态。换成轮式机器人、夹爪或五指人形机器人，同一个“拿杯子”还对应完全不同的关节动作。
Ropedia W0 想解决的，正是这种跨身体的预测问题。它是一种世界模型——不是直接命令机器人怎么做，而是根据当前画面和准备执行的动作，生成接下来可能看到的画面。团队把人类第一视角视频与多种机器人数据放进同一套训练框架，让模型同时学习移动和操作，并尝试把人类积累的大量日常经验迁移给机器人。
以下结果均来自论文作者的实验，尚无独立信源复核。“首个”“基础模型”和“state-of-the-art”等说法也都是作者自述。
难点不是身体不同，而是动作语言不通
具身智能，是让 AI 通过机器人身体感知环境并采取物理行动。它面临一个朴素问题：不同身体不会说同一种“动作语言”。夹爪可能只有开合，人手却有多根手指；轮式底盘向前滚，人形机器人则要协调双腿保持平衡。直接把关节数值交给模型，很难跨形态复用。
Ropedia W0 换了一个角度：不强求不同身体使用相同的关节指令，而是把动作翻译成画面里可对齐的运动。
它用两种信息描述动作。第一种是相机位姿，也就是相机在空间中的位置和朝向，用来表达身体移动后视角如何变化。第二种是投影骨架，即把手、夹爪或机械手的关键点画到图像上，用来表达操作部件将在哪里、以什么形状运动。
可以把它理解成给模型看一份“分镜预告”：相机轨迹告诉它镜头接下来往哪里走，骨架告诉它手或夹爪接下来伸向哪里。机器人身体可以不同，但这两类提示都落在同一幅画面坐标里。统一的不是身体结构本身，而是动作在视觉上意味着什么。
这一设计也保留了各自的形态差异。五指机械手仍有五指的连接关系，平行夹爪也仍显示开合宽度。对于机器人数据，团队先用正向运动学——根据关节状态推算末端位置——生成关键点，再投入大量人工标注和校正，因为公开录像中的相机标定和投影经常不准。
人类视频成了机器人的经验库
机器人示范昂贵且稀缺，人类第一视角视频却丰富得多，而且画面接近机器人执行任务时真正会看到的内容。团队因此整理了 Xp-Data：超过 1 万小时人类视频和 3000 小时机器人视频，来自 14 个人类公开数据集、13 个机器人公开数据集及内部采集，其中内部多视角录像超过 6000 小时。
数据规模之外，更关键的是把原本各说各话的数据重新标成同一种格式。每个训练片段包含同步的 RGB 画面、相机轨迹、投影骨架和文字描述；部分片段还有手腕姿态及更宽视野中的骨架。团队先过滤严重模糊、曝光异常、剧烈抖动，以及既没有相机运动也看不到手的片段，再检查相机轨迹、手部关键点、机器人关键点和文字描述是否互相吻合。
训练分两步。模型先从大规模人类视频中学习：视角移动、手部动作和环境变化之间有什么关系。随后再用人类与机器人数据各占一半的混合数据继续训练，让它认识机器人外观、机械手结构和互动方式。两阶段始终使用相机加骨架这套接口，因此从人类经验迁移到机器人时，不必另换一门动作语言。
模型有两个版本：一个是 50 亿参数的 5B 模型；另一个基于混合专家结构，总参数约 270 亿、每次推理激活约 140 亿参数，论文称为 A14B。混合专家可以理解为模型内部有多组“专长模块”，每次只调用其中一部分。
实验说明了什么？
作者在多种人类和机器人数据上测试了画面预测。指标很多，其中 PSNR 衡量生成画面与真实画面的像素接近程度，通常越高越好；LPIPS更接近人眼感知差异，越低越好。
在 200 段训练时未见的人类第一视角视频上，A14B 预训练模型取得 19.77 PSNR，优于对照中 Cosmos3-Nano 的 18.66；LPIPS 为 0.2381，也低于后者的 0.2753。它在相机轨迹和手部跟随指标上同样领先作者列出的对照模型。
更值得看的是低数据迁移。在 DreamDojo 的 In-lab 测试中，只使用 1%目标训练数据时，Ropedia W0 A14B 达到 23.028 PSNR，而 DreamDojo 14B 为 18.983。论文进一步报告：相同架构用 Ropedia 的人类预训练权重起步，在三个任务上仅用 1%后训练数据，较公开视频生成底座提高 4.8、7.1 和 6.6 dB，而且已经超过后者使用全部目标数据后的表现。这说明人类经验的主要价值，可能不是替代机器人数据，而是减少模型适应新机器人时所需的数据量。
消融实验也支持统一表示确实在工作。移除骨架条件后，A14B 和 5B 的 PSNR 分别下降 3.8 和 1.8 dB。移除相机条件，在全部八种形态上的平均下降较小，因为其中六种几乎没有视角移动；但在视角会移动的形态上，PSNR 下降 1.3 dB，生成动作也变少。换句话说，骨架负责“手怎么动”，相机条件在真正的移动操作中负责“身体走到哪里”，两者不能简单互换。
团队还制作了 Xp-Teleop，用来测试较长时间的移动操作。它包含约一小时 Unitree G1 人形机器人第一视角视频，共 27 段长录像、543 个手工标注的原子动作片段和 30 类技能。数据保留了抓取失败及恢复过程，因为世界模型若只会想象成功动作，就很难用于真实决策。
经过蒸馏——把大模型的生成能力压缩给更快的学生模型——Ropedia W0 可按固定视频块流式生成，在论文所述设置下达到 21.3 fps，并连续生成分钟级画面，支持实时 VR 交互。作者还展示了它用于策略排序、基于模型的规划，以及把视频预测能力迁移到动作学习中的可能性。这里的共同思路是：先让模型“想象”不同动作的后果，再据此比较或选择动作。
为什么值得关注
这项工作的重点不只是做出更清晰的机器人视频。它尝试建立一层跨身体的中间语言：不用抹平人手、夹爪和机械手的区别，也不为每种机器人从头设计控制接口，而是把移动和操作都投影到第一视角画面中。
论文的规模实验还显示，增加人类预训练视频后，人类视频预测和机器人迁移评测都持续改善。若这一趋势能在更多独立测试中成立，人类第一视角经历就可能成为机器人世界模型的一种通用预训练资源。昂贵的机器人示范仍然需要，但它可以更集中地教机器适应具体身体，而不必包办所有常识与场景经验。
局限与未知
- 全部结果来自同一篇论文。五组跨形态基准上的“state-of-the-art”尚未获得独立复现，部分数据质量描述也属于作者评价。
- 论文展示的是视频预测指标、规划实验与交互演示。画面更接近真实，不自动等于机器人在开放环境中更安全、更可靠；“分钟级 rollout”也只说明能持续生成，不代表整分钟预测都准确。
- Xp-Data 的 1 万小时与 3000 小时是否为去重后的有效时长，材料没有明确说明。实时速度也依赖论文设置，不能脱离硬件和分辨率条件理解。