Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.106 — 2026-10-18
PAPER 约 6 分钟

MARS:世界动作模型系统级提速

MARS 从视觉编码到动作生成逐层减负,最高把机器人世界动作模型提速 4 倍。

你让机器人把杯子放进柜子。它每走一步,都要重新看画面、推演接下来会发生什么,再反复修正动作。等它算完,眼前的场景可能已经变了。MARS 要解决的正是这种“想得太久”:它不只压缩动作生成,而是检查从视觉编码到连续决策的整条链路,哪里有重复计算,就在哪里有条件地减掉。

这项工作面向世界动作模型(World Action Model,WAM)——一种把“想象环境接下来怎样变化”和“决定机器人怎样行动”放进同一生成过程的模型。能力更完整,代价也更高:摄像头画面要先经过视觉编码,转换成模型能处理的数字表示;动作则通过迭代式生成推理,从粗糙候选开始多轮修正。延迟一高,机器人就只能减少重新规划的频率,闭环控制——“观察、决定、行动、再观察”的循环——也更容易跟不上现实。

作者将 MARS 描述为一个无需重新训练(training-free)、可以接入现有模型(plug-and-play)的加速框架。以下机制、实验数字与结论均来自作者论文,目前没有独立信源交叉验证。

慢,不只慢在一个地方

以往的免训练加速方法常盯住一个环节,例如缓存扩散生成的中间结果。问题在于,系统瓶颈会移动:最耗时的部分被压缩后,原先不起眼的部分马上成为新的短板。

作者分析 Cosmos Policy 在 LIBERO 仿真环境中的推理过程,找到三层分布不均的冗余。

第一层在 Transformer——负责处理信息的核心网络。不同注意力计算的重要性差别很大:不少交叉注意力分支和自注意力头,对最终动作预测影响较小,少数部分却很关键。MARS 先用校准统计衡量移除某个组件会让输出改变多少,再跳过低影响的交叉注意力分支,并裁掉低重要性的自注意力头。思路不是把所有环节统一打折,而是先找出哪些计算更像“陪跑”。

第二层在扩散推理。扩散模型不会一次吐出动作,而会经过多个去噪步骤逐渐修正。作者观察到,步骤之间的输入变化很大,但模型输出和 DiT residual——Transformer 处理前后形成的差值——相对稳定。这意味着后续步骤未必每次都要完整运行大模型。

MARS 会看第一次去噪产生的临时动作,以平均平移幅度判断当前动作的粗细。伸手、搬运一类大幅动作被视为粗粒度阶段,可以直接采用一步生成;接近、抓取、放置和微调等小幅动作更依赖精度,系统便保留原来的多步求解,只复用第一步算出的 residual,减少后续骨干网络计算。像开车时,直路可以少修几次方向,停车入位仍要频繁微调。

第三层发生在相邻两次决策之间。WAM 本来就会预测未来画面,因此上一次预测出的未来视觉 token——画面的内部数字表示——有机会直接充当下一次观察,省去重新编码摄像头图像的成本。但预测可能出错,环境也可能突然变化,所以 MARS 不会无条件复用。

它先用 VAE(负责压缩和还原图像的模型)的浅层特征,比较真实画面变化与预测变化是否一致;只有两者足够吻合,才接受预测 token。不同摄像头视角使用不同阈值,连续复用也设有上限,之后必须恢复完整编码,避免误差一路累积。可以把它理解为“先猜下一帧,再做一次便宜的验票”。

为什么系统视角更重要

三层优化不是简单叠加。论文给出的 LIBERO 分析显示,Transformer 和扩散部分被压缩后,VAE 视觉编码占总延迟的比例从 15.5%升至 47.7%。也就是说,如果只优化动作生成,近一半时间随后会耗在看图上。MARS 的关键价值正在这里:它追着移动的瓶颈继续优化。

消融实验也支持这种分工。在 LIBERO-PRO 上,完整方案达到 3.94 倍加速;去掉按动作粒度跳步后只剩 1.19 倍,说明扩散步骤是最大的一块冗余。去掉视觉 token 复用后为 3.06 倍,去掉注意力跳过后为 3.66 倍。三部分各自贡献不同,合在一起才形成端到端收益。

快了多少,动作还可靠吗

主要实验以 Cosmos Policy 为基础,在 NVIDIA A40 上运行,并对三个随机种子取平均。在 LIBERO 上,原始模型平均成功率为 98.05%,单次推理延迟为 1.4001 秒。偏速度的 MARS 配置把延迟降至 0.3498 秒,即 4.00 倍加速,成功率为 97.42%;较保守的配置为 3.17 倍,成功率为 98.12%。计算量分别降至原模型的 18.39%和 19.19%。

在更强调扰动的 LIBERO-PRO 上,偏速度配置从 1.4044 秒降至 0.3564 秒,达到 3.94 倍;成功率从 45.63%变为 45.53%。在包含 24 个厨房操作任务的 RoboCasa 上,速度提升 2.10 倍,成功率由 66.69%变为 66.94%。这些是相应配置和测试条件下的最高或报告值,不能理解成所有任务都能稳定获得同样倍数。

作者还把兼容的 Transformer 与扩散加速组件用于 Fast-WAM 和 LingBot-VA。前者在 LIBERO 上达到 3.17 倍加速,成功率从 96.58%变为 96.30%;后者达到 2.88 倍,成功率从 97.40%变为 98.13%。这说明方案并非只能运行在 Cosmos Policy 上,但尚不足以证明它适用于所有架构。

真实机器人实验包含 Franka Panda 抓放任务的 40 次试验。Cosmos Policy 配合 MARS 后,延迟从 0.6949 秒降至 0.2625 秒,速度提升 2.65 倍;报告成功率从 90%变为 95%。样本规模不大,这一成功率变化更适合视为“加速后未见明显损失”,而不是性能提升的定论。

局限与未知

  • “training-free”和“plug-and-play”是作者对使用方式的概括,但注意力组件仍需离线校准,运动阈值、各视角验证阈值和最长复用次数也需要设置。
  • 论文展示了多个基准、模型与真实机器人结果,但这些证据不能推出 MARS 对所有 WAM、硬件和现实环境都有效。
  • 目前证据来自作者一方。论文链接了 GitHub 仓库 PKU-VaLuE-Lab/MARS,但仓库的公开完整度与复现情况尚无独立核验。

供稿材料 SOURCES — 1

← 返回 2026-10-18 · 学术板块