你站在一只上锁的宝箱前,按下“打开”。如果背包里有钥匙,箱盖应该掀开;没有钥匙,它就该保持关闭。两种情况下,屏幕上的起始画面可以完全一样。许多视频世界模型却很难处理这种区别:它们能让镜头前进、角色伸手,也能生成一段像游戏的视频,但未必知道背包里有什么,更不能保证这条规则在几轮操作后依然有效。
《State World Models: Execute the Rules, Generate the Pixels》瞄准的正是这个缺口。论文提出 Stateful Harness:不再要求视频模型同时充当游戏裁判和美术师,而是让一套可执行系统先根据状态与规则决定“应该发生什么”,再让冻结的视频模型负责“把它画出来”。本文数字与结论均来自作者论文及其自建评测,尚无独立复现。
先判结果,再生成画面
世界模型,是一种模拟“动作会怎样改变环境”的系统。对游戏而言,只让下一帧看起来合理还不够。系统还要记住角色位置、库存和任务进度,并让这些事实持续影响后续事件。
Stateful Harness 为视频模型加了一层有状态的运行框架。开始互动前,编码智能体会把世界描述写成一份小型、带类型的可执行游戏定义,其中包括状态、可用动作、规则、事件和目标。规则随后被冻结,不会在游玩过程中随意改变。
每一轮都按固定顺序进行。用户先选择动作;运行框架读取当前状态,检查规则的触发条件,再计算下一状态和应当发生的事件。这一步叫状态转移——例如拾取钥匙后,库存增加,地上的钥匙消失。它发生在视频生成之前,因此真正决定事件是否合法的是规则系统,而不是视频模型的临场猜测。
接着,系统把已经确定的事件编译成 VisualScript。它不是一段含糊的剧情提示,而是一份带有角色、动作、目标、反应、特效、结局和镜头信息的视觉指令。与此同时,一套可编辑的 3D 场景会先生成“泥模”式预览片段:用简单几何体表示物体布局和相机路径,为最终视频提供空间引导。
最后,冻结的视频模型接收文字指令、3D 预览和视觉锚点,生成下一段视频。“冻结”意味着模型参数不再改动;它在这里是渲染器,而不是规则引擎。视频生成后,视觉语言模型会观察片段,提出可见状态的更新。运行框架只接受格式正确且不违背固定规则的更新。即使画面偶尔画错,错误也会被记为渲染不一致,不能反过来推翻已经确定的规则结果。
这形成一个闭环:规则决定事件,视频呈现事件,观察结果再进入下一轮状态。显式状态——对位置、库存、进度等事实的结构化记录——也让当前画面之外的信息可以继续生效。
两段都对,才算真的懂规则
为了区分“碰巧生成了正确画面”和“确实响应隐藏状态”,作者构建了 WorldState-Bench。它包含 50 组反事实双胞胎样本,覆盖 49 个隐藏变量和 21 类场景。每组的两段测试拥有相同初始画面、相同动作和相同规则程序,只改变一个画面中看不见的状态,因此必须得到不同结局。
评测采用 Change-to-Comply 协议:Change 检查动作是否带来可辨认的事件,而不只是镜头移动;Comply 检查事件是否符合隐藏状态对应的规则。PairFollow 要求一对视频都呈现各自规定的结局。更严格的 PairStrict 还要求两段视频中都不能出现被禁止的结局。作者使用 Qwen3.8-27B-VL,根据抽取的视频帧回答固定选择题;没有明显事件或无法判断的片段不得分。
作者先测试了 11 个未加外部运行框架的视频后端。它们包括四个图生视频模型 Wan2.2、LongCat-Video、HunyuanVideo 1.5、MiniMax-H3,以及七个交互式世界模型 LingBot-World v2、Echo-WM Flash、FantasyWorld、AlayaWorld、InSpatio-World、Astra、HY-WorldPlay。
只提供规则提示时,11 个后端中最好的 PairFollow 也只有 32%,由 Wan2.2 和 MiniMax-H3 达到。这里的 32%不是通用“游戏能力”,而是这套 50 对样本中,一对视频同时给出两个规定结局的比例。
以 MiniMax-H3 为例,若进一步把所需结局直接写进提示,PairFollow 从 32%升至 64%。但 PairStrict 只有 4%,说明模型可能画出了目标结局,同时也混入了不该发生的结果。使用相同且冻结的 MiniMax-H3,完整 Stateful Harness 的 PairFollow 达到 92%,PairStrict 达到 90%,两段结局确实不同的 TwinContrast 为 96%。作者的组件拆分实验把提升分为两部分:明确结局带来 32 个百分点,执行状态并加入编译后的参考信息再带来 28 个百分点。
真正的变化不在视频模型里
这项工作的关键,不是让视频模型自己学会了更严谨的游戏逻辑。恰恰相反,它承认视频生成和规则执行是两种不同任务:前者擅长合成画面,后者需要确定、可检查、能跨回合保存的状态。
因此,92%相对32%的提升不能归功于 MiniMax-H3 本身变聪明了。模型权重没有变化;系统同时加入了显式结果编译和 3D 预览引导。更准确的说法是,这套外部框架在作者自建基准上,显著提高了冻结视频模型所生成画面对规则结果的符合率。
论文还展示了三段持续 15、29 和 11 轮的实际流程,分别涉及城镇探索、约会叙事和回合制决斗。三种类型使用同一运行框架和视频模型,只替换可执行的世界定义,也不需要额外训练。这至少说明,显式状态不只适用于一次性的宝箱测试,也能被带入连续互动。
如果这条路线成立,世界模型的进步标准就会发生变化:不只是画面更真实、镜头更自由,还要能回答一个朴素问题——上一轮发生的事,这一轮还算不算数。Stateful Harness 给出的答案,是把“算数”交给规则系统,把“看见”交给视频模型。
局限与未知
- WorldState-Bench 只有 50 对样本,而且由作者构建;论文没有提供独立机构复现,也未披露置信区间、重复运行次数等统计信息。
- 视频判分依赖 Qwen3.8-27B-VL 对抽帧的固定选择题判断。论文也报告了盲测人类比较,但这仍不足以替代更大规模、更多评审方式的验证。
- 完整系统的提升同时来自规则执行、明确结果、文字编译和 3D 空间引导。现有结果证明的是整套框架有效,不能据此声称视频模型已经内生地学会执行规则。