生成一段“像游戏”的视频不难,难的是转身回来后,钥匙还在背包里,门也确实只能用对应钥匙打开。Matrix-Game 4.0的核心判断是:别让视频模型同时负责画面、记忆和规则。它把游戏执行与视觉生成拆开,让轻量游戏引擎充当“裁判”,持续保存角色位置、生命值和物品归属,并用程序计算动作后果;视频模型则像画师,把引擎输出的低多边形草图变成带材质、光照和氛围的画面。多模态编码智能体——能理解文字和图像并编写代码的模型——负责把玩家想法转成游戏代码与场景描述。
最具体的进展在实时性。作者报告,该系统在单张 NVIDIA RTX 5090 上可实现 480p、60 FPS,按键到画面显示延迟为 112 毫秒;采用单步生成时,稳定吞吐量达到 83 FPS,峰值显存占用 18.2 GiB。它仍不是让视频模型自己“理解世界”,而是用明确分工绕开其状态易丢失、规则靠猜的问题。现阶段展示的是可定制的射击与驾驶游戏,结果均来自作者自述。