Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.007 — 2026-07-11
PAPER H 2 约 7 分钟

MoWorld:世界模型也要跑得快

MoWorld把世界模型推向50 FPS:不只会预测未来,还要来得及参与实时控制。

想象一台机器人走到岔路口。它可以在内部快速“演一遍”:向左会碰到障碍,向右能继续前进。问题是,如果这场预演生成得太慢,机器人等到答案时,环境可能已经变了。世界模型不仅要猜得准,还得赶得上现实。

Team Moxin 发布的 MoWorld,瞄准的正是这个速度问题。世界模型(world model)是根据当前环境和智能体动作预测后续变化的模型,相当于让机器先模拟不同选择的结果,再决定怎么行动。论文作者把重点从单纯扩大模型能力,转向帧率、延迟和部署成本,并将 MoWorld 称为“Flash World Model”。作者给出的标准是持续达到至少 30 FPS——FPS 指每秒生成的画面数。

据论文报告,MoWorld 在适当计算资源下最高可达 50 FPS,并可在 Neural Processing Unit(NPU,面向神经网络计算的处理器)上运行,不依赖高端 GPU。作者还称,其实际部署成本或平均推理成本约为现有世界模型的 30%—50%。这些结果目前均来自 Team Moxin 自己的论文,尚无外部复现;硬件型号和测试口径也披露不足,因此更适合看作一套值得关注的工程路线,而非已经完成的横向胜负判断。

它为什么不能只追求画质?

世界模型与普通视频生成的差别,不只是“画面是否像真的”。它还要接受动作或相机轨迹,保持场景结构,并连续预测下一段变化。机器人和自主系统会据此比较不同动作的后果。生成若跟不上,规划和控制就会迟钝。

高帧率也不完全等于低延迟。50 FPS表示系统每秒最多生成50帧,通常意味着画面更连续;端到端延迟则是从系统收到一次动作,到对应结果真正出现的总等待时间。即使平均产出很快,如果每次命令都要等很久,交互仍然谈不上灵敏。MoWorld同时把实时交互和低延迟作为目标,但论文现有材料没有给出完整的端到端延迟数据。

快,不是只拧一个旋钮

MoWorld的核心思路是把数据、训练、蒸馏、推理系统和硬件一起设计。它不是等模型训练完,再临时寻找加速办法,而是从训练材料开始,就围绕可控制、可持续生成和低成本部署组织整条流水线。

第一步是准备带几何信息的数据。普通视频能告诉模型“画面变了”,却未必明确相机如何移动、场景中的空间关系是什么。MoWorld的数据引擎同时使用开放领域视频和游戏场景数据,并补全、检查相机条件。每个样本把画面、相机运动、场景描述和稠密3D点云组织在一起。团队称,这套专有采集和内部处理流程最多使用了500名标注人员,数据包括真实拍摄与合成环境。

可以把它理解为:不仅给学生看一段旅行录像,还同时提供摄影机的位置、朝向和场景地图。这样,模型更容易学会“向前移动后应该看到什么”,而不只是生成一段看起来连贯的视频。

第二步是循序渐进地学习长视频。MoWorld以 Wan2.2-A14B 为骨干模型,输入初始画面、文字和相机轨迹,再预测后续帧。训练先使用125或250帧的短片段,学习基本画质、初始画面一致性和相机控制;随后扩展到500或1000帧,处理物体位置和场景布局随时间漂移的问题;最后才训练2000帧长片段,要求模型在长时间移动、回访和重新进入场景时保持空间记忆。

这像先练短句,再写长篇。成本较低的短、中片段承担大部分训练,昂贵的长片段放在最后。论文作者认为,这能在控制训练成本的同时,逐步建立长时间的一致性。

把慢老师压缩成快学生

预训练模型仍然不适合直接实时运行。MoWorld接着使用蒸馏(distillation):让能力较强但较慢的教师模型提供示范,再让较轻、采样步骤更少的学生模型模仿。

这里还有一道转换。教师模型可以同时参考一整段视频窗口,学生模型却要自回归地向前生成——也就是生成一小段,再拿已生成内容继续预测下一段。误差可能像滚雪球一样积累。

MoWorld为此设计了一个 History Bank。它不保存全部历史,也不长期保留庞大的 KV Cache——模型生成时为避免重复计算而存下的中间结果。系统只挑三类历史帧:最近的帧、开头的参考帧,以及与当前相机视角接近的旧帧。比如相机转了一圈回到原处,模型可以找回先前相似视角,减少场景结构和主体外观漂移。

训练也分成两步。模型先用真实历史帧学习怎样衔接相邻片段,避免刚开始就被自己的错误带偏;随后再用学生模型真实生成的连续结果训练,让片段边界错误、历史选择错误和长期漂移直接暴露出来。冻结的教师模型负责指出真实视频分布的方向,另一个“Fake Model”估计学生当前生成分布,两者的差异用来推动学生靠近教师。最终目标是把多步扩散生成压缩成少量去噪步骤,同时保留相机响应、画质和长程一致性。

最后的速度来自系统协作

部署阶段,MoWorld继续从三层压缩开销。

在单个NPU上,编码器、生成主干和视频解码器无法同时常驻内存。系统因此按需加载模块:编码器先运行一次,得到画面、文字和相机条件,随后释放权重;生成模型和解码器再依次加载。已经算出的条件特征会在后续片段中复用。

在多个NPU上,系统把视频解码器放到专用设备,其余设备主要承担计算量更大的 DiT——一种用于扩散生成的 Transformer 主干。注意力头和视频 token(模型处理画面时使用的小块表示)被分层拆到不同设备上,以降低单卡内存和等待时间。

模型还会把 DiT 的部分计算从 BF16 动态量化到 INT8,也就是用更低精度的数字执行主要运算。论文称这可带来约2倍的权重与激活内存压缩;对精度较敏感、且只短暂运行的编码器仍保留 BF16。团队还为NPU融合了注意力计算步骤,减少数据在高带宽内存与计算单元之间来回搬运。

为什么值得关注

MoWorld最重要的信号,不是单独一个50 FPS数字,而是世界模型的竞争指标正在变得更接近真实系统需求。对于实时规划和控制,生成质量、响应速度、内存、功耗和硬件成本彼此牵制。只在昂贵设备上离线生成漂亮视频,并不能自动变成可交互的环境模拟器。

论文还展示了视频风格迁移、视频编辑、点云重建和 Gaussian Splatting 等应用。Gaussian Splatting 是一种用大量带颜色和透明度的三维“斑点”表示场景的方法。不过,MoWorld是否真能成为机器人或自主系统的实时预测组件,仍需要任务级测试,而不只是视频质量与生成吞吐量。

局限与未知

  • 50 FPS缺少具体NPU型号、分辨率、生成时长、批大小、数值精度、端到端延迟和测量方法,暂时不能与其他世界模型直接横向比较。论文同时使用“不需要高端GPU”和“在NPU上最高50 FPS”两种表述,不能把它误读为任意普通设备都能达到该速度。
  • 30%—50%的成本数字没有说明完整的成本口径、对比模型、硬件条件和质量对齐方式。“首个”“领先表现”和“电影级视觉质量”也都是作者的表述,尚无独立评测支持。
  • 论文给出了基于 VBench-I2V 的图生视频评测框架,但所供原文在具体结果表处截断,无法据此可靠摘录分数或比较对象。实时交互能否进一步转化为更好的规划与控制表现,当前材料同样没有给出直接证据。

供稿材料 SOURCES — 1
01
MoWorld: A Flash World Model arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-07-11 · 学术板块