想象 AI 在游戏里规划路线:它预演出的画面几乎以假乱真,却漏掉一次得分或失败,于是把更差的路线排在前面。这正是世界模型——在内部预测“行动后会发生什么”的系统——容易被现有评测掩盖的问题。规划真正依赖的是回报,也就是一条路线未来奖励的累计总账,而不只是画面像不像。
作者设计了一种逐步替换诊断:让模型与真实游戏执行同一串动作,再把想象轨迹中的部分转移——一次动作前后的状态变化——换成真实转移,看回报误差减少多少。作者报告,在通过可靠性检查的 44 组 Atari 模型与数据组合中,替换得分或终局附近的关键事件,效果在 39 组里胜过等量随机替换,中位数可消除 70% 的回报误差;这些事件的画面误差却不比普通步骤更大。反过来,专挑 MSE、SSIM 或 LPIPS 等视觉指标最差的画面,效果甚至不及随机选择。结论很直接:评测世界模型,不能只检查它“画得像不像”,还要检查它是否看懂了哪些时刻真正改变行动价值。