你让机器人把积木放进盒子。它每走一步,都先在“脑中”预演接下来会看到什么,再决定手臂怎么动。问题是,这场预演常把桌面背景、墙角等细节也认真算一遍。单次等待或许不长,但机器人需要反复生成动作,延迟会一路累积。CF-Prune 的思路很直接:未来画面只是行动的参考,不是交给人看的成片,因此不必把每一块都算得同样仔细。
这项工作针对世界动作模型(World Action Model,WAM)——一种同时预测未来视觉状态和机器人动作的模型。论文提出的 CF-Prune 能直接用于已经训练好的 WAM,不需要额外训练。作者报告,它在 RoboLab、RoboCasa 两个仿真基准和三项真实机器人任务上都带来了推理加速。不过,目前证据全部来自论文作者,尚无独立复现;部分关键延迟数据在所提供的论文文本中还有缺失,正式刊发前也需核验版本信息。
未来画面,不等于未来视频
WAM 会把图像和视频压成一串视觉 Token——可以把它理解为模型处理画面时使用的一块块信息单元。Token 可能对应图像块,也可能是压缩后的时空特征。未来帧越多、网格越密,模型每一步要计算和保存的中间结果通常就越多。
传统视频生成追求的是画面质量,细节自然重要。机器人控制的目标不同:预测未来画面,是为了帮助模型选出下一步动作。只要它知道夹爪、目标物体和关键空间关系,未必需要精确还原每一处背景纹理。
CF-Prune 正是从这个区别下手。它不取消“脑内预演”,也不改造模型,而是在推理时裁掉一部分未来帧 Token。这里的“training-free”是指剪枝机制本身无需再训练,不代表底层 WAM 没有经过训练或微调。
趁第一轮去噪,先找重点
生成模型通常从模糊或随机的初始表示出发,经过多轮去噪,逐渐还原未来画面。越早删掉无关 Token,后面少算的轮次越多;可第一轮恰恰最模糊,太早动刀也最容易删错。
CF-Prune 在第一次去噪前向计算中,同时查看两类注意力。注意力(attention)是模型给不同信息位置分配权重的机制。
第一类是“指令注意力”:模型先从没有被扩散噪声污染的当前观测中,寻找与语言指令相关的区域。比如指令要求按下紧急按钮,按钮附近应当比无关背景更值得保留。第二类是“动作注意力”:模型再看动作 Token 更重视哪些视觉位置,以补充语言没有说透、但执行动作确实需要的信息。
两类信号不是简单相加。CF-Prune 先保留动作相关性最高的 Token,再从剩余位置中补入指令相关的 Token。论文在 RoboLab 的 120 项任务上做了消融实验:只用指令信号的成功率为 34.0%,只用动作信号为 30.8%;两者互补且动作优先时为 35.3%,高于指令优先的 34.3%。这支持“动作与指令各自补位”的设计,但注意力权重仍只是模型内部的相关性信号,不能直接证明某块画面对动作具有因果作用。
作者还对注意力图做高斯平滑,让高权重向邻近图块扩散。这样不容易只留下物体的一小角,却把同一物体的其余部分删掉。在相同的 35% 剪枝设置下,平滑把 RoboLab 成功率从 36.0%提高到 37.8%,作者称额外计算开销可以忽略。
该省时省,该细算时细算
机器人推、拉、搬运时,并非每一刻都同样需要精度。手臂在空中接近目标时,可以少算一些;夹爪贴近物体、准备接触时,视觉误差更可能影响结果。
CF-Prune 用注意力分布的熵来识别这两类阶段。熵在这里衡量注意力是分散还是集中:当不同相机视角及动作序列中的注意力呈现出更局部的依赖时,系统把当前推理判为“精细阶段”,暂停剪枝并恢复稠密计算;其他“粗略阶段”才裁掉 Token。
这也意味着标题所说的“不用每块都算”并非全程跳过固定比例的画面块。论文的 RoboLab 消融显示,如果每次推理都固定剪枝,成功率为 35.3%;加入阶段识别后,成功率升至 37.8%。系统把 31.4%的推理调用判为精细阶段,同时保留了平均 1.23 倍加速。
快了多少,任务还能不能做成
作者在 RoboLab 的 120 项任务上每项运行 10 次;在 RoboCasa 中选择各类别的一项代表任务,每项运行 100 次。延迟统一在 NVIDIA RTX A6000 GPU 上测量。真实实验则使用 Franka Emika Panda 机械臂,执行按紧急按钮、拾取并放置积木、堆叠积木三项任务,每种方法每项运行 25 次。
据论文报告,剪掉 35%的未来帧 Token 后,CF-Prune 的平均推理加速为 1.19—1.27 倍,换算成延迟约降低 16%—21%。RoboLab 的整体成功率从稠密基线的 36.5%升至 37.8%,RoboCasa 从 65.0%升至 69.0%。真实任务的整体成功率从 85.3%升至 90.7%,三项任务分别达到 88.0%、96.0%和 88.0%。作者推测,剪掉无关视觉信息可能产生类似正则化的效果,但论文没有据此证明成功率提升的原因。
把剪枝比例提高到 50%后,两个仿真基准的平均加速达到 1.29—1.33 倍,约等于延迟降低 22%—25%;整体成功率与稠密基线相差不超过 1.0 个百分点。代价并不均匀:RoboCasa 的导航任务成功率从 38.0%降至 18.0%,说明“总体接近”会掩盖个别任务对激进剪枝的明显敏感。
对比结果也说明,少算并不自动等于更快。论文中的 Sparse VideoGen 保留全部 Token、只减少注意力连接,但在 RoboLab 上反而慢于稠密基线;作者解释,其分析和生成稀疏模式的开销抵消了计算节省。CF-Prune 的价值正在于,它只用初始前向过程完成选择,并把剪枝沿用到后续去噪轮次。
为什么值得关注
CF-Prune 没有试图让机器人停止想象未来,而是重新定义这场想象需要多精细。它把优化目标从“生成完整视频”转向“保留足够做对动作的信息”,并且能套用到预训练模型上。对需要反复查询策略的机器人来说,这类每轮节省可以累积成更短的任务等待时间。
更重要的是,这项工作展示了一种务实路线:不必先换架构或重训模型,也能从 WAM 中数量占优的未来视觉 Token 入手。不过,它目前更像一份有希望的研究结果,而非已经验证成熟的通用加速方案。
局限与未知
- 所有效果均来自同一篇论文。35%剪枝下的成功率提升缺少方差、统计显著性及完整逐项数据,不能据此断言剪枝普遍会让机器人做得更好。
- 延迟在单一 NVIDIA RTX A6000 GPU 和论文设定下测得,尚不清楚换模型、硬件、任务或相机布局后能保留多少收益;50%剪枝的量化结论也只适用于两个仿真基准,不能外推到真实机器人。
- 材料所列 arXiv 编号为 2610.19957,与当前日期存在可疑之处;正式刊发前应核验论文页面的提交日期、版本及文本中缺失的分项加速数字。