Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.105 — 2026-10-17
PAPER H 12 约 6 分钟

Thinker-WM:一个模型统管感知与行动

Thinker-WM让同一模型同时看画面、懂距离、预测未来并生成机器人动作。

你让机器人把桌上的杯子放进托盘。它不能只认出“这是杯子”:还要知道杯子离自己多远、伸手后画面会怎样变化,以及下一步该怎么动。过去,这些工作常由不同模块分别完成,像几个使用不同地图的同事互相传话。Thinker-WM想做的是,让感知、预测和行动在同一套内部表征里共同演化。

这项工作的看点,不只是把几个模型装进一个系统,而是追问一个更具体的问题:所谓“统一世界模型”,究竟应该统一到哪一层?Thinker团队给出的答案是表征层。不过,本文所有效果与规模数据均来自团队发布的论文,尚无机构外信源交叉验证。

不是拼接口,而是共用一张内部地图

具身智能,是让智能体通过机器人身体感知环境并采取行动,而不只处理文字。它需要连续回答三件事:现在看见什么,采取动作后世界会怎样变化,接下来应该做什么。

Thinker-WM把普通彩色画面 RGB、度量深度和机器人动作放进同一个生成框架。度量深度不只是物体远近的模糊判断,而是画面各处离相机的实际距离。RGB负责外观,深度提供三维几何线索,动作描述机器人如何移动。

这三种数据形态差异很大,因此模型没有强迫它们共用全部入口和出口。论文采用模态专属编码器,把画面、深度和动作分别翻译成内部表示;中间交给共享的 Unified Dynamics Transformer(UDT);最后再由各自的解码器还原成视频、深度或可执行动作。Transformer是一类让输入各部分互相参考、判断哪些信息重要的模型架构。在这里,它更像一张共用的动态工作台:外观、空间结构和动作都能在上面交换信息。

这个区分很重要。“一个模型能接收多种输入”,不等于它真正学到共同规律。如果视觉模块预测视频,动作模块另做决策,两者只在接口处交换结果,错误也会沿接口传递。Thinker-WM试图把统一位置往内部推进:不同模态保留必要的专用接口,但对未来变化的建模尽量共用参数。

深度不再只是旁边的一道辅助题

论文特别强调几何信息的位置。RGB能显示杯子的纹理和轮廓,却未必直接告诉机器人杯子距离夹爪多少。Thinker-WM让深度与 RGB 使用兼容的时空组织,并把几何作为可生成的世界状态,而非只在训练时附加一个深度预测任务。

训练前期,深度可以读取视觉和动作信息,却不会反向影响这两条主路径。作者这样设计,是为了避免并不完美的深度监督扰动已有的视频与动作能力。后训练阶段,RGB、深度和动作才改为双向交互。换句话说,模型先把几何当作相对谨慎的监督信号,再让它参与共同修正。

模型还要面对不同机器人的“方言”。各类机器人拥有不同关节、坐标系和控制方式。论文把它们映射到统一的相对末端执行器表示——也就是用机械臂末端相对起始时刻的位置、旋转和夹爪状态描述动作;缺失的自由度用掩码排除,不参与加噪或损失计算。同时,模型仍保留机器人身份信息和各自的动作解码方式。这里的统一不是抹平硬件差异,而是在模型边界先做一次对齐。

一套参数,切换六种工作方式

按照论文描述,同一套参数可以承担六类功能:联合生成视频与动作、只预测未来世界、根据当前观察生成策略、给定动作生成视频、根据视频反推动作,以及无条件生成分支。

其中,“根据视频反推动作”接近逆动力学:看到物体如何移动,推测什么动作造成了这种变化。训练时,模型会明确指定哪些模态需要生成、哪些作为已知条件、哪些完全省略。比如给定动作预测画面时,动作保持为干净输入,不计算动作预测损失;视频则从噪声中生成。这样,各种用法不是临时拼出来的,而是在训练阶段就分别练习。

论文还使用轻量级 motion probe(运动探针)检查冻结后的视觉表征。探针可以从中恢复运动信息,说明视觉内部表示确实携带了与动作相关的线索。但这只证明信息“可被读出”,不等于模型已经形成可靠的因果动力学理解,更不能直接证明机器人在真实环境中表现稳定。

为什么现在值得看

Thinker-WM从预训练的 Wan2.2 TI2V-5B 视频生成骨干初始化,并用冻结的 Qwen3-VL-2B提供任务级理解。论文报告的训练语料约包括2万小时第一视角视频、1万小时真实机器人数据和1000小时仿真数据;真实机器人数据中约4000小时带有对齐的深度监督。第一视角视频补充人类活动和真实场景的多样性,机器人数据提供动作监督,仿真数据则覆盖模拟操作。

作者称,Thinker-WM在 EWMBench、WorldOlympiad 和 WorldArena 三项评测中均排名第一;受控实验也显示,动作条件、几何交互和多功能训练能改善共享表征及相关任务表现。这些结果至少支持一个值得继续检验的方向:预测世界与生成动作未必必须由两套系统接力完成,几何也可以进入共同的动态表示。

它真正提出的判断是:统一不应只发生在产品外壳或输入输出接口,而应发生在模型表示“世界如何变化”的中间层。这比“什么都能输入、什么都能输出”更严格,也更容易通过实验逐项验证。

局限与未知

  • 论文虽报告三项评测排名第一,但未在摘要信息中给出具体指标、对比模型、评测版本、测试设置和领先幅度,因此不能据此推断全面或显著领先。
  • 约2万、1万和1000小时的数据是否互斥、是否经过筛重,论文材料未给出完整统计细则;约4000小时深度监督属于真实机器人数据,但具体构成仍不清楚。
  • 同一参数化支持多种功能,不代表所有任务完全共用每一个部件,也不代表无需模态专属接口。真实机器人策略的可靠性、长时稳定性和因果理解程度,仍需更直接的证据。

供稿材料 SOURCES — 1

← 返回 2026-10-17 · 学术板块