你教机器人把杯子放进抽屉，常会遇到一个翻译问题：机器人控制器习惯接收关节角和电机指令，视频生成器却只熟悉连续画面。前者知道机器该怎么动，后者擅长想象接下来会发生什么，但两边说的不是同一种语言。
FlowWAM提出的办法很直白：用光流来当翻译。光流（optical flow）描述相邻画面中各处看起来往哪个方向移动、移动多远，像在整幅视频上铺了一层运动箭头。它既有视频的形式，又包含动作线索，因此可能成为世界建模与机器人控制之间的统一接口。
这项工作的价值，不只在于换了一种输入格式。它试图回答一个更实际的问题：能否直接复用已经学会生成视频的模型，同时让它既能“想象动作的后果”，又能给出可执行的机器人动作？以下效果均来自论文作者的实验，尚无独立复现。
先把动作变成视频熟悉的样子
世界动作模型（World Action Model，WAM）想把两件事放进同一套模型：预测采取某个动作后世界怎样变化，以及判断机器人下一步该怎么做。预训练视频生成器本来就学过大量跨帧运动，因此是一个自然起点。问题在于，它没有天然见过机器人关节指令。
以往方案大致有三类。数值动作很精确，但不同机器人使用不同的动作空间，也与视频画面差得很远。潜在动作把帧间变化压进抽象编码，却可能丢掉具体位置上的运动线索。掩码、射线图等图像化动作更接近视觉输入，但往往只标出“在哪里动”，没有连续描述“怎样动”。
FlowWAM换了一个角度：不把动作当作附加说明，而把动作相关的运动本身做成一段视频。模型将每个位置的光流用 HSV 色彩编码成 RGB 图像；颜色承载运动方向和幅度，而且在论文设定下可以还原成数值光流。这样，场景视频与动作视频就拥有相同的外形。
这里的关键不是说光流等于真实物理运动。光流记录的是画面中的表观位移，可能受遮挡和估计误差影响。它的优势是格式对得上：视频生成器不必突然学习一门完全不同的“关节数字语言”。
两条流，共用一个视频生成器
FlowWAM是一套双流扩散框架。扩散模型从噪声出发，经过多轮去噪生成图像、视频或动作。这里的两条流，一条生成普通 RGB 画面，另一条生成光流画面。
论文以 50 亿参数的 Wan2.2-TI2V-5B 视频生成器为基础。RGB 与光流共用冻结的 VAE 编码器——VAE 可以理解为把画面压缩成模型便于处理的内部表示——也共用 Transformer 主体；只有输入嵌入、输出头等少量部件按流区分。模型在注意力层中把两类信息放在一起处理，让“画面里有什么”和“它准备怎样移动”持续交换信息。
同一架构有两种工作方式：
- 在 policy mode，也就是控制模式中，模型同时生成未来画面和未来光流。一个额外的 action expert（动作解码器）读取两条流的中间特征，再结合机器人当前的关节状态，把运动计划翻译成一段低层动作。
- 在 world-model mode，也就是世界模型模式中，目标光流由外部给定并固定，模型只生成符合这段运动要求的未来画面。换句话说，先指定“各处应该怎样移动”，再观察模型想象出的结果。
于是，光流在一边是模型要预测的动作计划，在另一边又是控制未来视频的条件。所谓“统一”，主要指这两个方向共用同一种动作表示，并不是说模型彻底取消了机器人专用的动作解码环节。
没有动作标签的视频也能派上用场
这条路线还有一个数据层面的吸引力。机器人示范里的关节动作标签很专门，普通视频通常没有；但光流可以从连续画面中估计出来。FlowWAM因此采用两阶段训练：先用 EgoDex 的第一视角人类操作视频训练 RGB—光流生成器，再接上动作解码器，用带机器人动作标签的示范联合训练。
这并不意味着光流“免费”或天然准确。论文仍需使用光流估计结果，提取过程会增加计算，也可能带入噪声。但它确实降低了对机器人动作标签的依赖，使普通操作视频能够先教模型理解可见运动，再由较专门的数据完成从运动到关节控制的翻译。
训练时，作者还针对两个实际问题做了处理。第一，操作画面大部分区域通常静止，模型容易靠预测背景取得低误差，因此论文提高了运动区域在损失中的权重。第二，动作解码器训练时看到的内部表示往往比推理时干净，作者主动加入噪声，让它适应生成过程中残留的误差。
数字支持了什么？
在 RoboTwin 2.0 的 50 个双臂操作任务上，模型同时用 Clean 与 Random 两种设置训练。Clean 固定布局和光照；Random 会改变物体位置、干扰物、光照和背景。每个任务按 100 次 rollout（从开始执行到结束的一次完整尝试）统计成功率。作者报告，FlowWAM在两种设置下分别达到 92.94% 和 92.14%，高于论文所选的 VLA（视觉—语言—动作模型）与 WAM 基线。这个结论只适用于该论文的具体训练和比较设置，不能外推为优于所有同类模型。
消融实验也提供了更直接的线索。在一组 policy-mode 设置中，完整模型成功率为 89.8%；改用数值动作时降至 69.8%，去掉运动区域重加权后为 83.9%，去掉动作解码器的随机噪声训练后为 82.1%。这些结果支持作者的判断：收益不只来自“多加一路输入”，光流的视频化编码和配套训练都在起作用。
在 WorldArena 的 121 帧世界建模评测中，作者报告主实验的综合 EWMScore 为 63.71。Trajectory Accuracy（轨迹准确度，即生成视频是否忠实跟随指定动作）取得 18.4% 的相对提升；材料没有说明这个比例相对哪一个基线，因此不能写成提高了 18.4 个百分点。论文还称其轨迹准确度比第二名高近 10 分，同时保持了接近最佳基线的主体与背景一致性。
真实机器人实验覆盖 Franka 单臂与 ARX 双臂平台的 7 项任务。各方法使用相同的 100 条遥操作示范，每项任务测试 10 次。作者报告 FlowWAM 平均成功率为 75.7%，两项基线分别为 61.4% 和 57.1%；FlowWAM在每项任务上都取得最高成功率，且双臂任务的差距更明显。
为什么值得关注
FlowWAM最有意思的地方，是它给“复用视频生成器控制机器人”提出了一个清晰、可检验的接口设计。过去常见的思路，是在视频模型旁边接入一套动作符号；FlowWAM则把动作改写成视频模型已经熟悉的连续视觉运动。这样，“预测该怎么动”和“按指定动作想象未来”就成了方向相反、格式一致的两项视频生成任务。
这条路线是否最终成立，也容易通过实验追问：预测光流越准，机器人是否真的越容易成功？论文在 RoboTwin 的 50 个任务上比较预测光流误差与成功率，称两者呈现一致关系。不过供稿缺少具体 Pearson 相关系数，暂时无法判断这种联系有多强。
局限与未知
- 所有结果都来自作者论文。92.94%、92.14%、63.71 等数字没有随供稿给出方差、重复实验统计或显著性分析；真实机器人每项任务仅测试 10 次。
- 光流是画面位移的估计，不是真实物理运动本身。遮挡、视角变化和估计噪声怎样影响控制，论文材料没有充分量化。
- 论文把扩大无动作标签预训练和延长规划时域列为未来工作。供稿也没有可独立核实的代码、模型权重或正式发布信息。