你在游戏里走过一座桥,绕了一圈再回来,通常会认出同一座桥。生成式世界却未必如此:它一边接收操作,一边临时画出下一帧,早先的小错误会被带进后续画面。玩得越久,纹理越容易糊,建筑越容易变形,整个场景也可能慢慢“走样”。LingBot-World 2.0 想解决的正是这个问题:让 AI 生成的世界可以长时间连续演下去,同时接受比移动镜头更丰富的操作。
作者将新版称为 LingBot-World-Infinity,并声称它实现了“不受限的交互时域”。交互时域,就是系统能连续接收动作、又维持环境连贯的时间长度。“不受限”在这里首先是一种设计方式:系统没有预设固定终点,并不表示任何一次运行都绝不会出错。论文展示了一次超过一小时的不间断生成,作者称其间没有可感知的画质衰减。不过,目前所有效果都来自作者团队的论文及成果材料,尚无外部独立复现。
为什么生成越久,反而越难
LingBot 属于世界模型(world model):它学习环境会怎样随动作变化,像一个根据“向左走”“拉弓射箭”继续演出下一幕的内部模拟世界。这里的世界不是预先搭好的地图,而是模型逐帧生成的视频。
这种做法有一个天然麻烦。每一帧都依赖此前生成的画面。如果上一帧把门框画歪了一点,下一帧就会把这个歪门框当成事实继续推演。错误如此反复进入输入,最后可能变成模糊纹理、扭曲几何或场景漂移。论文称,既有系统往往只能稳定几秒到几分钟。
LingBot 的核心思路是把整个过程严格写成因果生成:模型只能根据已经发生的画面、相机动作和文字指令预测接下来会发生什么,不能“偷看未来”。这就是因果预训练(causal pretraining)。训练数据也不只配一段概括整条视频的说明,而是把视频切成多个时间块,分别标注人物动作、交互状态和环境变化。这样,模型学到的不是笼统的“这是一次战斗”,而是此刻挥剑、随后命中、环境接着发生变化。
团队还设计了 MoBA 注意力掩码。注意力可以理解为模型决定“当前画面该参考哪些信息”的机制。纯粹按时间向前训练时,模型可能过度依赖干净的历史画面,真正自己连续生成后反而容易失稳。MoBA 在因果约束之外混入一部分可双向观察的训练任务,把它当作正则化手段,减少这种过度依赖,同时保留原有视频生成器的画质。
先教会它,再让它跑快
高质量视频模型通常要经过很多轮去噪才能产出画面,适合离线生成,却不适合实时操作。LingBot 因此采用蒸馏(distillation):让较小或较快的“学生模型”模仿较强的“教师模型”,把多步生成压缩成少数几步。
这里用了两层约束。第一层让学生在同一条生成轨迹的不同位置给出一致结果,以减少去噪步骤。第二层让学生生成的画面分布继续靠近训练数据,并且专门在学生自己的长序列输出上训练。后一点很重要:系统部署后看到的是自己刚刚生成的画面,而不是训练集里的标准答案。让它提前在自己的错误上练习,目的就是降低错误越滚越大的风险。
论文称,蒸馏后的实时版本可以驱动 720p、60 fps 视频流,并展示了超过一小时的连续生成。部署侧还把生成、画面解码、空间细化和补帧并行处理,画面一旦解码就立即传给用户,不必等完整片段全部完成。主要模型规模为 14B,另有一个支持单张 GPU 部署的 1.3B 版本。但论文没有说明单卡部署与 720p、60 fps 是否指同一个版本和同一套硬件条件,因此不能把两项表述直接合并成“任意单卡都能跑到 60 fps”。
不只是在风景里散步
上一代世界模型常见的交互,是控制镜头前后左右移动。新版把动作扩展到攻击、射箭、施法和射击,也允许文字直接改变世界:例如切换昼夜、召来雨雪,或让新的生物进入场景。
系统为此加入一套 agentic harness——围绕生成模型搭建的代理协作框架。Director 由视觉语言模型承担:它观察当前画面,判断用户操作可能带来什么结果,再提出后续事件。底层视频生成器则扮演 Pilot,把这些语义指令落实为连续画面。用户既可以直接触发角色动作,也可以选中被持续追踪的物体进行更精确的操作。
界面把这套机制做成了类似游戏的控制台:WASD 控制移动,IJKL 控制视角,固定按键负责跳跃等动作,Director 还会根据当前场景生成可选事件。用户也能把自定义事件绑定到数字键。论文另称界面支持多人同时进入模拟器,但没有披露并发人数、同步机制或多人压力测试结果。
真正值得看的,是“世界”标准变了
LingBot 的进展不只在于视频更清楚。它把世界模型的评价重点从“能生成一段好看的演示”推向三个同时成立的条件:连续运行、及时响应、可控事件。超过一小时的案例至少说明,团队已经开始用长时间自回放检验稳定性,而不再只展示几秒钟的精选片段。
代理框架也改变了系统的角色。单独的视频模型只负责预测下一段画面;Director 持续补充事件和语义因果后,系统才更像一个不会立刻耗尽内容的互动环境。不过,这仍不等于它拥有完整的世界状态。画面连贯、事件合理和世界真正持久,是三件不同的事。
局限与未知
- 它稳定,但不会真正记住世界。 论文明确承认,某个区域离开上下文后,再次返回时往往会被重新生成,而不是准确恢复。它保持的是视觉上的延续,不是地点和物体身份的永久存在。
- 长时间一致性仍会松动。 角色外观和整体风格可能缓慢变化;模型只从像素学习动态,没有显式几何与碰撞规则,人物或物体偶尔会互相穿透。
- “无界”和“实时”仍缺少完整测量。 论文给出一小时案例,却未披露更长测试、客观质量曲线、硬件型号、显存、端到端延迟和多人规模。作者也承认实时版本仍需大量计算资源。因此,更稳妥的结论是:LingBot 把可持续交互显著推长,并展示了更丰富的控制能力;它距离一个真正能记住历史、守住物理规则且可普遍部署的“无限世界”,还有几道关键门槛。