你用正常速度拍下一只弹簧来回摆动,再让 AI 推演慢动作,或者一次跳过几帧。它可能在原来的速度上表现不错,换个时间间隔却越算越偏,甚至让画面里的运动突然“爆炸”。问题不一定是 AI 没学会弹簧怎样动,也可能是它只习惯了训练时那只固定节拍的钟。
Eli Laird 和 Corey Clark 的这项研究,追问的正是:同一个世界模型,能否在不同时间尺度上沿用同一套动力规律。世界模型可以理解为 AI 对环境变化的内部模拟。本刊 7 月 11 日介绍 LingBot 时提到,这类模型会根据当前画面和动作逐步生成后续画面;新论文进一步把“每一步究竟隔多久”变成研究对象。
作者研究的并非所有世界模型,而是 Hamiltonian Generative Networks(HGN)——一种从视频中学习连续动力规律的生成模型。论文的实验也集中在一个受外力、有阻尼的弹簧振子上。以下效果与判断均来自这篇论文,尚无独立复现。
固定帧率,藏着一个容易忽略的限制
多数视频世界模型按固定时间步长训练。时间步长,就是相邻两次预测之间经过多久,例如每隔一秒预测一次,或每隔十分之一秒预测一次。模型通常学的是“走完这样一步以后,状态会变成什么”,训练节拍也就固化进了模型权重。
这在固定帧率的视频里不显眼。一旦用途变了,限制便会冒出来。分层规划可能先粗略看几秒后的局面,再细算下一瞬间;sim-to-real——先在模拟环境训练,再迁移到真实设备——也会遇到模拟器与真实控制器频率不同的问题。科学模拟和游戏引擎则可能需要用同一套动力学回答不同时间尺度的问题。
这种能力叫时间泛化:训练时只见过一种时间间隔,使用时仍能预测其他间隔。小于训练步长,相当于把轨迹采样得更密,是“插值”;大于训练步长,相当于一次跨得更远,是“外推”。作者认为,后者更能检验模型究竟学到了连续动力规律,还是只记住了固定步长的转换方式。
先学一套连续的“运动规则”
HGN 的思路,是不直接死记“下一帧长什么样”,而是在隐藏空间里学习 Hamiltonian。Hamiltonian 是一个用位置、动量等状态描述系统的函数,在许多物理系统中对应总能量;它的变化规律可以决定系统怎样连续演化。
可以把它理解为:模型不只学习钟每响一次,物体该挪到哪里,而是学习物体始终遵循的运动规则。推演时再选择钟走多大一步。这样,时间间隔理论上就不必绑定训练视频的帧率。
论文把 HGN 扩展为 port-Hamiltonian 结构,以处理外部作用力和能量耗散。模型先把像素画面编码成抽象的“位置”和“动量”,在隐藏空间中推进状态,再把新的位置解码成图像。它只在开头编码一次,此后不拿真实后续画面纠正自己,因此越往后的误差会真实累积。这种设置叫 open-loop rollout,即开放环推演。
实验使用受外力、带阻尼的弹簧振子。数据包含 5 万段序列,每段 50 帧,以 2.5 Hz 采样,并渲染为 64×64 RGB 画面。动作有三种:向上施力、不施力、向下施力。作者让同一个模型在不同时间步长下推演,再以像素误差、结构相似性和感知距离等指标比较预测画面与真实画面。
跨大步时,模型坏在两个地方
第一种故障是隐藏状态的幅度不断增长,最终在图像里变成高频伪影。作者把原因指向 action-force map——把外部动作转换为隐藏空间作用力的映射。这个映射没有约束时,大时间步下的数值求解会过冲,外力又会沿着最不稳定的方向持续注入能量,误差由此层层放大。
他们采用 spectral normalization(谱归一化)约束这个映射的强度,把其范数限制为 1。说白了,就是给每一步能注入的作用力加一道上限。论文称,这消除了全部测试范围内的幅度爆炸。
第二种故障更隐蔽。加上约束后,预测不再爆炸,却会逐渐与真实运动错开相位:弹簧仍在往复,只是越来越踩不准时间点。可能有两种解释。一是模型没有真正学会训练范围外的动力规律;二是积分器一次迈得太大,微小的截断误差沿整段轨迹累积。
作者用 inference-time substepping(推理时细分步长)区分两者。它把一个较大的观察步拆成多个更小的计算步,同时保持总的动作冲量不变。模型学到的 Hamiltonian、初始状态和编码器都不变,唯一变化是计算得更细。
结果显示,细分步长越多,相位漂移越小,四项图像指标也随之恢复;当有效计算步长回到接近训练尺度时,预测几乎重新对齐。作者据此判断,主要问题是积分器分辨率不足造成的全局截断误差,而不是那套连续动力规律本身失效。谱归一化与细分步长在中等细分程度下还能互补,说明它们确实针对两个不同故障。
真正值得看的,是“规律”和“计算”被拆开了
这项工作的意义,不只是让弹簧视频适配几种播放速度。它提供了一种判断框架:世界模型跨时间尺度失败时,不要立刻认定模型没学会物理。先看外力接口是否失控,再看数值积分是否过粗。
按照论文给出的实践方案,小于训练步长时,模型可借助辛积分器——一种着重保留 Hamiltonian 系统几何结构的数值方法——直接细化轨迹;大于训练步长时,则在每个观察间隔内部增加计算子步。后者无需重新训练,但计算成本会随额外的 Hamiltonian 网络调用而增加。
更基础的问题也由此浮现:长期模拟能否泛化,既取决于模型学到了什么,也取决于我们怎样调用它。连续时间结构让“同一规律、不同节拍”成为可能;受控的外力和足够细的积分,才让这种可能在实际推演中站得住。
局限与未知
- 实验对象是单一的受外力、带阻尼弹簧振子。现有材料不能证明方法适用于复杂真实视频、更多物体或 HGN 之外的世界模型。
- 论文展示了多项指标随步长细分而恢复,但供稿中的公式与具体外推范围缺失,无法给出“跨了多少倍帧率”或定量提升幅度。
- 标题中的“调节时间快慢”是通俗说法。模型改变的是推演步长和时间分辨率,并非主动控制真实时间;论文所称“远超训练分布”的稳定预测,也仍待更广泛任务和独立复现检验。