你看见一个人拿起杯子，很容易明白“手靠近、抓住、抬起”这套动作。但机器人看到同一段视频，却拿不到可直接执行的控制指令：人的手没有关节读数，机械臂之间的长度、夹爪和坐标系也各不相同。同一个“拿杯子”，落到不同机器上，就是不同的一串数字。
RynnVLA-Latent想解决的，正是这道翻译题。它先从视频前后画面的变化里提炼一种共同的“动作描述”，再用少量特定机器人的示范，把这种描述接到真实控制接口上。这样做并未完全摆脱控制代码或本体适配，但能减少大规模预训练对原生机器人动作标注和统一控制空间的依赖。
本文数字均来自论文作者报告，尚无外部复现或第三方评测。
先给视频补上一层“动作字幕”
视觉—语言—动作模型（VLA）把“看懂画面、理解指令、执行动作”接进同一个系统。它要扩大能力，通常需要大量带动作标签的机器人示范。但这类数据昂贵，而且难以混用。人类视频和网络视频数量更大，却只有画面，没有机器人当时应当输出的控制信号。
RynnVLA-Latent没有强行把各种机器人的控制数字统一起来。它训练了一个名为RynnLAM的模型，读取相邻两帧画面，生成连续的、具有3D几何依据的潜在动作。潜在动作可以理解为对“画面中发生了什么运动”的压缩表示，它不是某台机器人的逐关节命令。
论文用RynnLAM处理了25个来源中的人类、机器人和仿真视频。原始语料约30,100小时，包含1,663万段视频和30.57亿帧，最终生成7.4552亿个潜在动作描述。它们相当于自动补上的“动作字幕”，让原本控制格式互不兼容的视频可以进入同一个预训练目标。
难点不是看见变化，而是找出谁在动
只比较前后两帧，很容易学偏。镜头向左移动时，整幅画面都在向右滑；光照或背景变化也会造成明显差异，但这些变化不代表机械臂应该怎样动。
RynnLAM用三组约束缩小这种歧义。
第一组是残差未来特征预测。模型不重建整幅未来画面，而是预测“下一帧相比当前帧改变了什么”。中间还经过一个紧窄的信息瓶颈，迫使它优先保留运动，而不是把静态外观完整抄过去。
第二组是经过相机补偿的3D场景流监督。场景流描述物体在三维空间中的移动。系统利用估计的深度、相机姿态和光流生成伪标签——也就是自动推算出的训练答案。扣除镜头自身运动后，静止区域的动态流应当接近零，模型便更有机会抓住物体真正的位移。
第三组是相机运动解耦。RynnLAM单独设置一个相机潜变量来预测六自由度相机姿态，同时通过梯度反转，尽量让全局动作潜变量无法完成这项预测。说白了，它给“镜头在动”和“物体被操作”安排了不同抽屉。不过作者也明确说，这只是鼓励分离，并不保证表示对视角变化完全不敏感。
最终使用的描述符有608维，包含局部运动信息、全局动作信息和相机信息。论文在LARY低层控制回归测试中冻结这些表示，只训练一个轻量解码器。误差越低越好：RynnLAM在相对动作设置下的平均MSE为0.38，低于论文列出的LAPA 0.93、Moto 0.77和DreamDojo 0.55。消融实验中，移除3D flow后误差升至0.50，移除相机分支后升至0.47，说明几何监督和相机处理都提供了可测贡献。
共同语言最后仍要翻译
有了这些自动标签，RynnVLA-Latent先学习一件事：根据多视角画面和文字指令，预测接下来的一组潜在动作。它采用flow matching——从随机噪声出发，学习一条逐步抵达目标动作序列的生成路径。此阶段不使用机器人的原生动作或本体感觉；本体感觉指机器人对自身关节状态等内部信息的感知。
真正部署前，模型仍要针对目标机器人做后训练。此时训练目标从潜在动作换成该机器人的原生控制命令，并加入本体感觉。模型保留预训练过的视觉—语言骨干和动作专家主体，只在输出端接一层适配目标动作维度的投影。
这也是标题里“摆脱硬编码”需要加上的限定：RynnVLA-Latent没有让所有机器人直接执行同一套动作，也没有取消控制接口。它把最昂贵的本体对齐推迟到最后一步，让前面的大规模学习尽可能共享。
成绩说明了什么
论文中的4B版本——这里的4B指视觉—语言骨干规格，完整策略实际为50.4亿参数——在LIBERO任务上取得98.8%的平均成功率，略高于表中Xiaomi-Robotics-0的98.7%。更值得看的是加入视角、机器人状态、语言、光照、背景和噪声等扰动的LIBERO-Plus：它没有针对该基准单独适配，仍达到84.7%，表中次高结果为84.4%。
在考查双臂操作的RoboTwin 2.0 Native协议中，它平均达到88.6%，高于表中LingBot-VLA的87.7%。在更强调语义理解、跨类别和视觉变化的VLABench五个赛道上，平均成功率为51.9%；对照方法中，论文表格列出的下一结果为48.1%。这组成绩更能说明，视频预训练得到的不只是复现固定动作的能力。
真实环境测试覆盖两种差异明显的本体：一台配双灵巧手的固定式双臂机器人，以及一台配平行夹爪的轮式双臂机器人。六项任务包括翻牛排、擦盘子、收拾桌面和端盘上菜。4B版本在论文列出的每项任务中都是比较方法里的最高值，但每项只有表格成功率，材料未披露统计波动，结论仍应谨慎理解。
为什么值得关注
机器人学习的稀缺资源不是普通视频，而是与具体控制信号严格对齐的示范。RynnVLA-Latent的价值，在于把大量异构视频先转换成统一的运动监督，再把“理解动作”与“执行某台机器的动作”拆开训练。跨本体迁移因此不再要求不同机器人从一开始就共享控制格式。
如果这条路线经独立验证，它可能改变机器人数据规模化的瓶颈：人类、仿真和不同机器人的视频可以先贡献通用的运动经验，昂贵的原生动作数据则集中用于最后的落地翻译。
局限与未知
- 所有结果均来自同一篇论文；尚无外部复现。30,100小时、7.4552亿个描述符及参数量等统计口径，也仍需独立核查。
- 潜在动作不是可执行命令。每种机器人仍需要带原生动作标签的后训练、输出适配和现有控制接口。
- 六项真实任务没有给出统计波动；而相机解耦只是一种训练约束，论文并未证明模型获得了严格的视角不变性。