一段视频，不能只剩一张“印象照”
想象你让 AI 看一局乒乓球游戏。球和球拍一直在动，记分牌和背景却很稳定。训练久了，模型可能学会准确记住背景、颜色和比分，却把球怎么飞、球拍怎么移动忘掉了。损失曲线看起来甚至一切正常。
这正是 MotionJEPA 要处理的问题：一个视频世界模型的潜空间——也就是模型压缩画面后形成的内部表示——究竟有没有保留“变化”。论文关注的不是所有表示都变成同一个常数的整体坍塌，而是更隐蔽的时间特征坍缩：不同时间的画面在内部变得过于相似，稳定外观仍在，运动信息却受到压制。
作者提出 DISReg，让模型同时学习单帧画面和相邻画面的视觉差异，再把它接入标准 JEPA，组成 MotionJEPA。论文报告的结果显示，这种设计能保留更完整的动态信息，并改善带静态背景干扰时的规划表现。不过，所有结果目前都来自这篇论文自身，仍缺少独立复现。
JEPA 为什么容易“看背景，不看动作”
JEPA（Joint Embedding Predictive Architecture，联合嵌入预测架构）不会逐像素重画未来画面。它先把图像压缩成嵌入，再在这个抽象空间里预测未来状态。这样做的目标，是学到世界如何变化，而不必花力气复原每一个像素。
问题在于，容易预测的东西未必最有用。背景、物体身份和颜色通常变化缓慢；球的位置、人物动作和障碍物运动则变化更快。标准 JEPA 训练存在“慢特征偏好”：它倾向于抓住随时间变化不大的线索。久而久之，动态特征可能被挤出潜空间。
论文的 Dino 实验把这个过程展示得很直观。LeWM 中，恐龙信息的探测误差起初下降，约在 5000 次迭代时达到较低水平，随后反而上升，到 2 万次迭代时仍未恢复。也就是说，模型不是从未看见恐龙，而是在训练过程中逐渐把它忘掉了。更麻烦的是，这种退化没有反映在训练损失里。只盯着损失曲线，研究者可能根本发现不了。
一种已有办法是逆动力学：给出动作前后的状态，让模型反推动作。它会迫使表示关注变化，但需要动作标签，而且主要奖励与已标注动作直接相关的信息。普通视频没有现成的动作标签，画面中的变化也不一定都能由动作名称概括。
它不重画下一帧，而是追问“哪里变了”
DISReg 的全称是 Difference Image and Single image embedding Regularization，可理解为“差分图像与单帧嵌入正则化”。正则化，就是在主要训练目标之外加一组约束，引导模型学到想要的表示。
它包含两个互补部分。
static term 处理单帧图像嵌入，塑造其整体分布，并保留标准 JEPA 擅长的慢特征。dynamic term 则取相邻画面的时间差分图像——突出前后发生变化的区域——将其编码成目标，再要求一个类似逆动力学的模块根据前后两帧的嵌入预测这个目标。
可以把它理解成看两张“找不同”图片。模型不必把整间房重新画一遍，但必须说清哪些东西移动了。这样，原始图像嵌入若完全忽略运动，便无法完成差分预测。
这里有两个容易混淆的地方。第一，DISReg 不使用像素重建损失，但并非不使用图像信息；它预测的是差分图像的嵌入。第二，dynamic term 不直接规定原始图像嵌入必须长成什么分布。它只要求动态信息确实存在。这与沿时间维度直接把嵌入推开的做法不同，后者可能保住变化，却把潜空间塑造得更弯曲、更纠缠。
训练结束后，DISReg 新增的两个模块可以丢弃。因此它增加训练阶段的参数量和计算量，但不增加推理阶段的计算开销。
模型真的把运动留下来了吗
作者先在 Pong、Dino 和 Golf 三个合成游戏环境中检查潜空间。训练完成后，他们冻结模型，再用 MLP probe——一个专门从内部表示中读取信息的小型神经网络——尝试还原球、球拍、恐龙、仙人掌和障碍物等状态。评价指标是归一化均方误差（NMSE），越低表示相关信息保留得越好。
据论文报告，MotionJEPA 在三个环境的图像嵌入和预测轨迹上都取得最低的平均探测误差，也是唯一在所有特征类别上都实现均衡表现的方法。Golf 的条形障碍尤其能说明问题：其他方法压制了这类动态信息，MotionJEPA 则仍可被探针读出。随机初始化模型有时反而保留不少信息，也支持作者的判断：部分特征不是网络没有能力表示，而是在后续训练中被主动压掉了。
作者还分析了潜空间轨迹。理想情况下，现实中的连续运动进入潜空间后，应形成相对平直、容易预测的路径。MotionJEPA 在 Pong 和 Golf 上的轨迹比采用时间维度分布约束的方法更直；Golf 中，球的位置接近直线，周期运动的十字和条形障碍形成单环。相比之下，LeWM 会把多个障碍物压到近似同一点，却为无关的木纹背景留下高曲率轨迹。不过，“更简单”“更低曲率”仍是作者基于自有实验得出的结论。
真正的考验是能不能用它做规划
潜空间里能读出信息，并不等于模型真的会行动。作者因此又在 Cube、PushT、Reacher 和 TwoRoom 四个环境中测试闭环规划，并把每段轨迹的背景换成固定木纹。木纹在同一段轨迹中不动，正好构成一种很强的慢特征干扰。
在 25 步规划中，原始 LeWM 的平均成功率为 20.4%，MotionJEPA 为 81.8%；加入逆动力学后达到 86.4%。在更长的 50 步规划中，三者分别为 11.8%、70.3% 和 71.6%。MotionJEPA 单独使用时也超过逆动力学基线的 59.3%，其中 Reacher 的 50 步成功率为 98.0%，逆动力学基线为 62.0%。
消融实验还显示，去掉原始潜表示上的正则化会使表现下降。这说明只追变化也不够：一个实用的世界模型既要记住场景状态，也要记住状态如何改变。DISReg 与逆动力学结合后取得最高总体成绩，则表明两种信号可能互补：一个从视觉变化中学习，另一个利用动作监督。
为什么值得关注
世界模型的价值不只在于认出画面里有什么，还在于预测接下来会发生什么。如果潜空间被稳定背景占满，模型即使通过训练指标，也可能没有真正学会运动。
MotionJEPA 的重要之处，是把问题从“如何避免所有表示变成一样”推进到“哪些信息正在被悄悄压掉”。它还给出一个实用提醒：训练损失正常，不代表内部表示健康。对视频模型而言，潜变量探测、轨迹分析和真实规划表现可能比单一损失曲线更能揭示问题。
局限与未知
- 论文增加了两个训练模块，因此比普通 JEPA 消耗更多训练参数和算力；作者只说明它们在推理时可被移除，材料没有给出具体开销。
- 合成环境具有清晰、可分离的状态变量，便于诊断，但材料没有提供更复杂真实视频上的结果。
- 目前证据均来自作者自己的实验。部分表格数值在供稿文本中缺失，潜空间“更完整、更简单”的结论也尚待独立复现。