你让 AI 生成一段视频:把杯子放进柜子,镜头转去客厅,再回到厨房。画面可能很漂亮,但柜门从没真正打开,杯子也可能换了位置,甚至整个厨房的空间结构都悄悄变了。若只看最后一帧,我们很容易把这些问题统称为“忘了”。可它也许根本没执行动作,或者从未建立一个能长期维持的三维世界。
这正是三项新工作的共同关切。MIST 把执行失败与记忆失败拆开;Orbia 专门检查生成视频是否构成一致的 3D 世界;PPMem 则给模型加入紧凑、持久的三维记忆。三者衡量的不是同一件事,也不能互相替代,但它们共同推动一个变化:视频世界模型的评价重点,正从“这一帧好不好看”转向“这个世界能不能持续成立”。下文数字均来自各论文团队自己的实验,尚不能视为独立复现。
先别急着说模型忘了
视频世界模型,是根据已有画面和动作继续生成环境未来的模型。它的目标不只是做一条视频,而是让人能在生成的环境里持续行动。因此,一个已经发生的改变,后来仍应成立。
问题在于,过去的记忆测试常把三件事压进一个总分:场景是否正确建立、要求的动作是否执行、动作结果是否保持到最后。比如任务要求孩子坐到椅子上,镜头离开后再回来。如果孩子一开始就没坐下,最后看见空椅子并不能证明模型“忘了”。世界状态根本没有完成更新。
《Execution Before Memory》提出 MIST,就是要拆开这条链。它用三个连续的 5 秒片段,分别检查场景建立、答案是否在中间片段提前泄露,以及最后是否真正展示目标状态。研究在 Wan TI2V-5B 上测试了 43 个案例。场景通常建立成功,中间也没有泄露答案,但基线生成的 43 条视频里有 41 条始终没有执行“打开并展示”这个关键动作。换句话说,主要瓶颈先出在执行,而不是已经得到证明的遗忘。
团队随后提出 M3-Agent(Make the Missing Move,大意是“补上缺失的动作”)。它不训练新模型,也不添加记忆模块,而是查看生成结果,判断缺了哪一步,再递归修改输入指令的细节,让冻结的原模型重新生成。MIST 的 reveal score——目标状态最终被展示出来的分数——从 0.147 升至 0.492,是基线的三倍以上。WRBench 的 score T 从 0.452 升至 0.570,论文报告提升 26.1%;MBench-T 的 score U 从 0.292 升至 0.446,提升 52.7%。
这项工作的价值不只是把分数做高,而是提醒评测者先问对问题:动作没有发生时,记忆尚未真正受测。不过,作者也明确划线:最后一帧展示了正确结果,不代表模型内部确实保存了那个状态。M3-Agent 还会从多个候选结果中,用报告指标所用的评分器挑选最佳视频。这更像对模型能力上限的估计,还不是可直接部署的自主纠错器。
镜头回来,还是原来那个房间吗
即使模型正确执行了动作,另一层问题仍然存在:它生成的是连续画面,还是一个稳定空间?三维一致性要求镜头换角度、离开再返回时,物体的位置、形状和空间关系仍属于同一个世界。单帧逼真,并不能保证桌腿不会漂移、墙面不会变形,或刚生成的门在重访时还存在。
Orbia 正面测量这个问题。作者将其称为首个专门、系统且全面评估交互式世界模型 3D 一致性的基准。它把检查分成三层:输入保持,看原始画面里的外观、几何和空间关系是否稳定;生成内容持久性,看模型自己补出的区域在重访时是否仍然相同;3D 自洽性,则用跨视角深度、特征对应、区域尺度,以及留出视角的渲染来判断不同画面是否描述同一个三维场景。
Orbia 收录室内外共 720 个实例,设计六种“探索—重访”协议,并通过适配原生接口评估 27 个由文本、动作或相机控制的模型。测试最长持续一分钟,目的正是把短片里不明显的空间漂移暴露出来。需要注意,这些数字说明基准覆盖范围,不等于结论获得了 27 个独立团队验证;“首个全面基准”也是作者自己的定位,现有材料不足以独立核验。
给生成世界留一张建筑图
评测能指出空间出了问题,但模型还需要一种办法,把已经生成的世界持续带到后续画面中。PPMem 的选择是平面图元——用位置、朝向和范围等少量参数表示墙、地面、建筑立面等结构。可以把它理解成给场景留下一张简化建筑图,而不是保存此前的每一个像素。
PPMem 让每段视频同时生成 RGB 画面和平面几何,再把新几何合并进持久记忆。后续片段从这份记忆渲染出深度信息,用它约束接下来的生成。每个平面图元只需 7 个参数。论文称,一个完整场景约含 10 万个图元,占用约 5MB,比逐像素点云紧凑三个数量级;但材料没有给出点云分辨率、参数精度和附加索引等计量细节,因此这项压缩比例仍应按作者报告理解,不能仅凭“7 个参数”自行推导。
据论文团队报告,PPMem 在 DL3DV 和 RealEstate10K 上的视频质量超过此前的 3D-grounded world models——也就是用三维信息约束生成的世界模型——同时输出度量尺度深度、表面法线和可导出的平面几何。在大幅改变视角时,它能让数百帧保持连贯。这里的“超过”“跨视角一致”等结论同样来自作者实验,供稿未提供独立复核结果。
真正的拐点,是开始追问世界状态
三项工作分别处理三道关卡。MIST 先确认动作是否真的发生,避免把执行失败误判为遗忘;Orbia 检查不同视角和重访结果能否拼成同一个三维空间;PPMem 则尝试用明确、紧凑的几何表示,让已生成的结构继续约束未来。
这三道关卡必须分开。执行成功不代表模型记住了结果;记住某个物体也不代表整个空间几何一致;拥有三维记忆,也不自动保证每条指令都会正确执行。但正因为问题被拆开,研究者才更接近真正有用的评价:不是视频看起来像一个世界,而是动作、状态与空间能否在时间里共同延续。
局限与未知
- 三项工作的主要效果数字均来自各自作者,材料没有提供相同实验条件下的独立复现。
- M3-Agent 的最佳候选由报告指标所用评分器选择,且部分提示会写明目标状态;它提高了可观察结果,但没有证明模型内部存下了记忆。
- Orbia 的“首个全面基准”和 PPMem 的压缩倍数、领先表现都带有作者自我定位;摘要没有披露足够细节来核验全部比较口径。