Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.114 — 2026-10-26
PAPER HF 37 约 7 分钟

未来表征,也能反过来教机器人

FRED让视频模型从真实未来中自学表征,单步预测更可靠的机器人动作。

你看见一个人把杯子推到水壶旁,很容易猜到他下一步可能要倒水。机器人却不能只认出“杯子”和“手”:它还得判断手正往哪里动、物体接下来会怎样变化,才能选对动作。问题是,完整生成一段未来视频太慢;只快速猜一次,得到的“未来”又可能不够可靠。FRED 想解决的正是这个两难:不要求机器人真的把未来视频画出来,而是把那份供动作决策使用的“未来表征”练得更好。

这项工作来自 Huiwon Jang、Suhyeok Jang、Hyeonmo Kang、Seungku Kim、Jinwoo Shin 和 Sihyun Yu。以下结果均来自作者公开的 arXiv 预印本,尚无独立复现或第三方评测可交叉验证。

机器人不必看见未来,但要抓住未来的线索

FRED 面向世界动作模型(World Action Model,WAM)——一类借用预训练视频模型来学习机器人策略的方法。视频扩散模型原本从噪声出发,经过多轮“去噪”,逐渐生成连贯视频。它在预训练中学到的物体运动和场景变化规律,也可以帮助机器人判断下一步该做什么。

但多轮生成很耗时。近期一些 WAM 因而走了一条捷径:视频模型只执行一次去噪,不生成可观看的完整视频,而是交出一组中间特征;独立的动作解码器再根据这些特征生成机器人动作。所谓动作解码器,就是把模型内部判断翻译成机械臂控制指令的模块。

这些中间特征可以理解为“未来视频表征”:它不是未来画面本身,而是对“接下来可能发生什么”的压缩描述。省掉完整视频生成后,推理更快;代价是,机器人的动作质量直接取决于这份压缩描述是否靠谱。

作者先用一个轻量分类器检查这些表征。结果显示,从噪声产生的中间特征确实逐渐包含了未来机器人运动的信息,也越来越接近从真实未来画面提取的特征。不过,两者之间仍有明显差距。FRED 的切入点因此很直接:既然动作解码器读的就是这份“未来摘要”,那就专门训练模型把摘要写好。

用真正发生的未来,教会单步预测

FRED 全称是 Future REpresentation learning via self-Distillation with temporal context。它的关键方法是自蒸馏——让同一模型体系中的教师路径,为学生路径提供训练目标。

训练时,学生只拿到当前观察、任务指令和噪声,要在一次前向计算中预测未来表征。教师则能读取真实的未来观察,并从中提取目标表征。学生不断学习靠近教师,相当于先在训练阶段对照“后来真正发生了什么”,练习如何仅凭眼前信息写出更准确的未来摘要。

这里的教师不是另一套固定模型,而是学生模型参数的指数移动平均(Exponential Moving Average,EMA)副本。简单说,它像一个更新更慢、更稳定的版本,用来提供训练目标。论文还会给真实未来画面加入适量噪声;作者的消融实验显示,中等噪声水平的教师输入表现最好,成功率为 68.8%,高于完全不加噪声时的 65.3%。作者认为,适度扰动可能让教师提取到更适合蒸馏的表征,但这仍是论文给出的解释。

FRED 还不只看当前一帧,而是把短期历史观察一并交给视频模型。道理不复杂:一张照片能告诉你手在哪里,连续几帧才能告诉你手正在往哪边走。实验默认使用当前观察加四帧历史。移除自蒸馏后,RoboCasa Kitchen 上的成功率由 68.8%降至 65.1%;移除历史信息则降至 64.8%;两者都移除,也就是回到基础 WAM,结果为 61.4%。这说明两部分都贡献了增益,而且作用可以叠加。

提升集中在更难的任务上

作者用 5B 和 14B 两种规模的模型评估 FRED。5B、14B 表示大约 50 亿和 140 亿参数,用来描述模型规模。机器人先在 DROID 数据集上训练,再进入未见过的环境和任务接受测试。

在 5B 设置下,FRED 在长时程任务上的成功率为 46.7%,最佳对比 WAM 为 31.7%;在域外任务上,FRED 达到 37.5%,最佳对比 WAM 为 10.4%。长时程任务需要连续完成多个操作步骤;域外任务则包含训练指令中未出现的动作动词,需要机器人执行新动作。这里的“零样本环境泛化”是指不为测试环境额外训练,不等于机器人获得了无限制学习全新技能的能力。

到 14B 规模,FRED 的长时程任务成功率为 81.7%,使用相同视频骨干的 DreamZero 为 61.7%;域外任务分别为 52.1%和 10.4%。作者还报告,14B FRED 的平均推理延迟为 0.406 秒,DreamZero 为 3.255 秒。论文将这一差距归因于 FRED 只需一次视频去噪,而 DreamZero 使用多步去噪。

更值得注意的是人类视频能否教会机器人。研究者把没有动作控制标签的人类操作视频,与机器人示范一起训练。在只由人类视频展示、机器人训练数据中缺失的特定任务集合上,FRED 的任务成功率达到 50.0%,最佳对比 WAM 为 19.4%;其指令遵循率达到 97.2%。没有加入人类视频时,FRED 和对比方法在这些任务上的成功率接近零。

这不是说机器人看一遍人类视频就能照做。更准确的理解是:视频模型从人类示范中学到未来场景如何变化,自蒸馏再把这种变化压进动作解码器可读的表征。人类视频不必提供机器人关节该转多少度,也能为控制学习贡献运动线索。

真正的新意,是把目标从“画得像”改成“想得准”

论文的分析显示,单步生成的视频质量与任务成功率只有较弱相关;从真实未来画面提取的表征质量,相关性也较弱。与控制表现联系更强的,是模型从噪声中单步生成的未来表征质量。这支持了作者的核心判断:对这类 WAM 来说,最重要的未必是迅速生成一段看起来合理的视频,而是产生一份足以指导动作的内部未来描述。

这条路线的吸引力也在这里。它保留视频生成模型积累的运动先验,却不要求机器人在每次行动前完整“放映未来”。FRED 做的是把生成模型改造成更可靠的未来表征生成器,再让动作模块读取结果。若后续研究能重复这些发现,从视频先验中提炼机器人策略,就多了一条兼顾速度与泛化的路径。

局限与未知

  • 论文尚未提供独立复现。文中的“持续优于”“提升显著”等判断均来自作者自己的实验。
  • 材料没有完整披露各项真实世界测试的试验次数、方差或置信区间,也未说明 50.0%与 19.4%所对应的样本量,因此暂时无法判断这些差距的统计稳定性。
  • 人类到机器人的 50.0%成功率只适用于论文限定的特定任务集合,不能当作 FRED 在所有任务上的整体成功率,也不能据此推断它能从任意人类视频学会任意技能。

供稿材料 SOURCES — 1

← 返回 2026-10-26 · 学术板块