你让 AI 判断:把地上的箱子往左推,会不会堵住门口?它不能只认出“箱子”和“门”。它还得估计距离、理解移动方向,并在脑中预演移动后的场景。今天的系统往往把这些工作分给不同模型。Ψ-0.6 想做的,是让同一个模型一边看、一边算空间关系、一边模拟变化,再决定下一步该用哪种方式处理问题。
这项工作值得看,不是因为模型被赋予了人类式思维,而是因为它把“选择何种表示来解题”也变成了可训练的能力。下文的结果均来自作者论文及其内部评测,尚无第三方复现。
把几套工具装进同一个脑子
Ψ-0.6 是一个拥有 80 亿参数的视觉—语言世界模型。视觉—语言模型能把图像与文字联系起来;世界模型则像环境的内部预测器,尝试推演场景接下来会怎样变化。
过去,这些能力通常彼此分开:视觉编码器负责识别,视觉—语言模型负责描述和问答,世界模型负责预测未来。即使一个语言模型能调用外部工具,那些工具也常是固定的“黑箱”,很难跟着最终任务一起调整。
Ψ-0.6 换了一个角度。它用同一个 Transformer——一种按顺序处理信息并预测下一个内容的模型结构——处理文字、图像、相机位姿、深度、光流和点轨迹。相机位姿描述观察者的位置与朝向;深度表示物体离镜头多远;光流描述画面各处怎样移动;点轨迹则跟踪同一点随时间去了哪里。
这些内容都被编码成 token。token 可以理解为模型统一读写的基本符号。于是,看图、描述、估计空间结构和生成未来画面,不再是几套互不相干的程序,而是同一模型在不同条件下完成的预测。
“思路”可以交错展开
作者把这种共享推理过程称为 streams of thought,即“思维流”。它不是只有文字的推理链,而是一段可以交错包含文字、图像和几何表示的序列。
例如,模型先从两张图片估计相机移动,再依据这个位姿生成新视角,最后从新画面里回答空间问题。前一步的输出,会成为后一步的上下文。可以把它想成解一道几何题:有时读题,有时画辅助线,有时旋转草图。关键不在于工具多,而在于它们能接成一条过程。
同一种表示还可以扮演不同角色。相机位姿可以是模型从图片中估计出的答案,也可以是用户要求它转向某处的指令,还可以只是回答问题前的中间步骤。这套 any-to-any prompting interface——任意输入到任意输出的提示接口——让不同 token 的排列对应不同解题路径。
先想象变化,再回答问题
这套接口也支持反事实模拟,即推演“如果事情换一种方式发生,会怎样”。面对“移动物体后是否挡住通道”之类的问题,Ψ-0.6 可以先把文字里的位移转换成光流,生成变化后的场景,再读取自己的预测并作答。负责想象和负责理解的不是两个模型,而是共享同一套 token 接口的同一个模型。
在 FlowBench 的物体移动预测任务上,Ψ-0.6 的最佳配置达到 56.4% 准确率。由 Grounding DINO、SAM2 和 Depth Pro 组成的模块化方案为 50.8%,而且后者还使用了相机内参这一额外输入。这里的结果说明,在论文设定中,统一模型不只是把多个功能放在一起,也可能更好地衔接“指令说了什么”与“画面应该怎样变”。
反事实问答更能看出训练的重要性。在模拟场景 FlowBench-Sim 上,Ψ-0.6 微调前的总体准确率是 24.5%,微调后升至 73.1%;按问题类别平均则从 24.6% 升至 73.6%。随后,作者没有使用真实机器人测试集 FlowBench-Real 的样本训练,模型仍取得 51.4% 总体准确率,比基础模型高 13.9 个百分点。不过,它仍低于同样在 FlowBench 上微调的 Qwen-8B 的 59.6%。这更像是初步的模拟到真实迁移,而不是已经解决了真实机器人推理。
不只生成中间步骤,还学习何时使用
如果每道题都由人预先规定“先算深度,再算光流”,系统仍谈不上真正自适应。Ψ-0.6 因此进一步用强化学习训练表示选择。强化学习就是根据任务结果给出奖励,让模型逐渐偏向更有效的做法。
在视觉问答实验中,模型可以选择深度、相机运动和光流等中间表示。训练奖励取决于这些步骤能否帮助它提高最终答案质量。换句话说,模型既学习中间内容该是什么,也学习什么时候值得生成哪一种内容。
论文报告,这套策略在训练分布的留出样本上,相对只看视频直接回答的基线平均提升 5.6%;在四个未参与训练的基准上,平均相对提升 9.0%。作者还观察到一些可解释的选择:重复动作问题可能触发连续光流预测,物体交互可能同时使用深度和光流,观察者移动问题则会组合深度与相机运动。这些数字仍是单篇论文的内部结果,但它们支持了一个重要方向:模型可以学习分配推理形式,而不只是增加固定长度的计算。
为什么值得关注
Ψ-0.6 真正有意思的地方,是把“表示”从数据格式变成了推理动作。语言适合表达目标与关系,几何表征能显露距离、遮挡和空间结构,生成的场景则能展示行动后果。模型不必始终困在文字里,也不必每次都生成昂贵的完整视频。
这对物理智能尤其关键。现实任务会随时间展开:系统可能先看深度,再判断运动,随后模拟一个动作,最后才决定是否执行。Ψ-0.6 目前还不会直接控制机器人,但它展示了一种可能的组织方式:让感知、语言、几何和想象共享接口,并让任务反馈参与决定何时调用它们。
局限与未知
- 论文承认,Ψ-0.6 的训练数据、算力和工程投入明显小于当代前沿多模态系统。统一训练还可能让不同能力争抢有限容量;作者没有单独测清哪些能力彼此促进、哪些彼此干扰。
- 当前自适应实验优化的是视觉问答,而非真实世界中的动作控制。光流和点轨迹只是动作的视觉代理,不能直接驱动机器人关节或夹爪。
- 所有效果均来自同一篇论文。模型、代码和具体数据尚待作者按文中计划发布,现有材料不足以判断结果能否独立复现,也不能把任务范围内的反事实生成等同于通用的物理理解。