Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.107 — 2026-10-19
PAPER H 16 约 6 分钟

Mallea:让代码搭建世界

Mallea让编程智能体用状态、规则与视觉记忆搭世界,探索视频生成之外的世界模型路线。

你让 AI 搭一个小世界:铁片和木块放在桌上,角色可以搬动它们。运行一会儿后,你又说:“加一块磁铁。”难点不只是把磁铁画出来。系统还要知道铁片会被吸引、木块不会;原有物体的位置和损伤不能凭空重置;镜头转回来时,物体也不该突然换一张脸。

Mallea 想解决的正是这组连在一起的问题。它不把世界仅仅当成一段需要继续生成的视频,而是先把世界写成程序:物体有哪些状态,彼此如何作用,下一刻怎样变化。然后,它再用生成式渲染器把程序中的当前世界画出来。论文作者 Xuanyi Liu、Ruiqi Li、Siwei Ma 将这种系统称为“代码世界模型”。目前论文展示的主要是系统设计和 12 个定性场景;定量评测、记忆消融和长时间重访基准仍待发布,因此下文的能力描述主要来自作者报告,不能视作已经过独立验证的效果结论。

先搭规则,再生成画面

视频世界模型通常直接生成接下来会看到的画面。Mallea 换了一个起点:世界先由对象、显式状态和可执行规则组成。

显式状态,就是像游戏存档一样,直接记录物体的位置、姿态、材料、损伤等信息。可执行规则则规定事情如何发生,例如两个物体接触后如何响应,或者磁铁在什么条件下吸引某个对象。规则不是一段描述,而是可以真正运行的代码。程序每推进一步,世界状态也随之更新;即使用户没有操作,物体间的互动仍可继续发生。

负责搭建这些内容的是 coding agent——能规划、编写和修改代码的语言模型系统。它先从文字提示中判断需要哪些对象、对象之间可能发生什么互动,再一起规划几何结构、属性和规则。

这里的关键判断是:不要一开始就把每个物体做得极其精细,只保留互动真正需要的结构。普通碰撞也许用粗略的接触范围就够了;击打和格挡却可能需要关节运动与更精确的时机;更细的接触才需要局部网格。头发纹理、表面花纹等不影响互动的细节,可以留给渲染器补上。

这有点像布置舞台。门能否打开,取决于门轴、门的位置和开门规则;木纹是否细腻,则不必写进机械结构。Mallea 试图把建模复杂度花在“会改变事情结果”的地方。

对象不只是什么,还要知道会做什么

在 Mallea 中,每个对象都有稳定身份、几何表示和带类型的属性。属性不仅保存数值,也要说明类型、单位、初始值,以及哪些规则可以修改它。规则则由事件、条件和更新组成。

论文用锤击举例:几何结构提供接触信息,材料、刚度和损伤属性决定程序如何响应。仅仅写一个材料名称,并不能自动推出物理结果;系统仍需要明确的参数和规则。这一点很重要:Mallea 展示的是可检查、可修改的建模方式,不是声称语言模型天然掌握了可靠物理定律。

这些显式定义也让世界可以在运行中扩展。比如一个世界原本只支持搬运铁片和木块。用户后来要求加入磁性,编程智能体就要补充磁响应属性和吸引规则,让铁与木头产生不同反应。新增能力之前,系统会在状态副本上检查字段类型、单位、规则依赖、局部行为,以及无关事实是否得到保留。检查成功后,修改才会在模拟步的边界提交;失败则保留原世界。若需要当前系统不支持的物理能力,还必须加入经过验证的求解器扩展。

因此,“改一个数值”和“增加一种能力”是两回事。前者可以只改现有状态,后者需要修改世界的定义。论文称,这类修改会保留原有对象身份、位置、损伤以及其他不相关状态。

记住花纹,但别记错状态

程序能记住物体在哪里,却不等于画面能记住物体长什么样。生成式渲染器再次看到同一个花瓶时,可能换掉它的图案;但如果花瓶已经受损,系统又不能机械地拿旧画面覆盖新状态。

Mallea 为此设计了 object texture memory,即“对象纹理记忆”。它按照对象身份保存可复用的外观、已经覆盖的表面区域,以及登记这些外观时采用的对象表示和相关状态。物体离开镜头时,程序里的对象仍继续存在,外观条目也可以留在存储中;等物体再次可见,系统会根据当前姿态、视角和状态决定哪些区域还能复用。

例如,单纯改变姿态时,对象自身的纹理可以继续使用;材料或损伤被修改后,受影响区域需要失效并重新生成;几何表示改变时,系统必须找到经过验证的表面映射,否则也要放弃相关纹理。具有视角依赖的外观,只能在兼容的观察方向下使用。没有见过、无法可靠对齐或已经不兼容的区域,则交给生成器重新补全。

渲染时,系统把三类信息合在一起:当前文字提示、由程序世界给出的几何条件,以及从记忆中投影出来的外观。生成的新画面还会通过对象 ID、深度和相机几何重新登记到对象表面;对应关系含糊的部分不会写入记忆。论文特别提醒,这些纹理只是视觉证据,并不保证等同于物体真实、稳定的内在反射属性。

这里还有一个容易混淆的边界:纹理记忆只服务于由 whitebox 明确定义的对象。whitebox 可以理解为内部结构和规则可被程序检查、修改的对象,但论文并未把它的完整适用范围解释清楚。渲染器偶然生成的背景内容不会自动获得长期记忆。

为什么这条路线值得看

Mallea 最有意思的地方,不是单独发明了状态、规则或视觉记忆,而是让三者围绕同一组对象协同工作。对象的身份连接了模拟与外观;对象的属性变化决定哪些旧纹理还能用;行为扩展又会反过来修改属性、规则和记忆条件。

这为世界模型提供了一条不同于逐帧视频生成的路线。画面质量高,不等于画面忠实执行了指定状态和事件。代码世界模型把因果规则放到可运行、可检查的程序里,再把视觉表现交给生成式渲染器。这样,世界“发生了什么”和世界“看起来怎样”被分开处理,又通过共享对象重新接上。

论文展示的 12 个场景覆盖物理过程和角色运动,包括光学装置、战术场景、火焰控制链、磁性互动和零重力姿态变化。它们说明这套设计可以组织不同粒度的对象表示与互动,但短片本身无法单独证明纹理记忆的贡献。

局限与未知

  • 论文尚未公布定量指标、基线对比、用户研究、计算成本,以及长期重访和记忆消融结果,因而无法判断 Mallea 相比其他路线究竟提升多少。
  • “保留不受影响的状态”和“让后续观察符合最新状态”是作者对系统能力的概括,目前缺少公开的量化标准与外部复现。
  • whitebox 对象的定义边界、复杂规则能扩展到什么程度,以及生成画面与程序状态发生冲突时如何稳定处理,现有材料仍未充分回答。

供稿材料 SOURCES — 1

← 返回 2026-10-19 · 学术板块