你让 AI 玩一个陌生的解谜游戏。走到第 18 步,它突然需要第 4 步见过的线索。普通系统可能只留下几句文字摘要,原图里的方向、位置和微小变化早已丢失。VISTA 想解决的就是这个问题:让 AI 不只“看见当下”,还能像人翻截图一样回看旧画面。
这项工作的论文于 2026 年 10 月 1 日提交。作者是 Qiushi Han、Keya Hu、Linlu Qiu、Cathy Wu 和何恺明。量子位将其称为面向多模态模型的“视觉原生 Harness”;论文给出的系统名称是 VISTA。这里的 Harness,可以理解为包在模型外面的运行脚手架:它负责提供观察、保存状态、调用工具和执行动作。Agent 最终能做成什么,不只取决于底层模型,也取决于这套脚手架怎么设计。
给模型一本视觉笔记本
多模态模型能同时处理文字、图像等信息。但在连续任务里,“能看图”不等于“能一直记住图”。常见做法会把先前画面压缩成文字,方便模型继续推理。问题是,文字摘要很容易漏掉颜色、方向、相对位置等细节。
据 arXiv 论文摘要,VISTA 让通用多模态模型直接接收视觉观察,并以原始形式保存无损视觉记忆。需要时,模型可以主动检索旧画面,再重新组织送入模型的视觉输入。换句话说,它没有强迫模型只凭一份不断改写的文字会议纪要办事,而是保留了原始照片档案,允许模型回头查证。
团队公开的一段游戏轨迹把这个思路讲得很直观。据 VISTA 项目官网及论文,模型走到第 18 步时,主动翻回第 4 步等旧画面,把零散视野拼成地图。它还把一个很小的方向标记放大约 13 倍,发现物体发生的是旋转,而不是平移,随后修正行动。团队据此提出一种判断:模型缺的未必只是推理能力,也可能是一套可随时回看的“视觉笔记本”。
提升来自模型,还是脚手架?
论文选择 ARC-AGI-3 作为主要测试之一。ARC-AGI 是一组用抽象图形任务考察陌生问题适应和推理能力的基准;ARC-AGI-3 加入了交互环境,要求系统通过连续操作摸清规则。
据论文摘要,在 ARC-AGI-3 公开集上,VISTA 把 Claude Opus 5.0 的 Relative Human Action Efficiency 从 40.68 提升到 100.00。这个指标用于比较系统与人的行动效率。论文称,系统完成了全部 25 个公开游戏,所用动作数比首次参与的人类少 57.4%。
研究还测试了另外三个视觉游戏与谜题基准。作者称,在底层模型相同的条件下,VISTA 显著优于只配备基础 Harness 的对照方案。这一点值得关注:提升不一定都要靠训练一个更大的模型。重新设计模型怎样观察、记忆和回看,也可能改变 Agent 的实际能力。
为什么值得继续追踪
传统文本工具调用路线,倾向于把环境整理成文字,再让模型决定下一步。VISTA 探索的是另一条路线:当任务本身依赖画面,就让视觉信息以原始形式进入记忆和后续推理。它把“长程视觉推理”——在多轮行动中记住旧画面、复查细节并修正判断——当成 Harness 的核心问题。
这还不能证明视觉原生 Harness 会取代文本工具调用。更准确地说,VISTA 提醒我们:多模态 Agent 的竞争,正在从“模型能不能看图”,延伸到“系统怎样替模型保存和重新呈现它看过的世界”。
局限与未知
- 目前效果数字主要来自论文作者在摘要中的报告,仍需更多独立复现。
- 现有材料没有披露四个基准的完整设置、对照细节和失败案例,无法判断收益在多大程度上适用于游戏之外的任务。
- “视觉原生”带有概括和宣传色彩。现有材料能确认的是 VISTA 保留并主动检索原始视觉观察,不宜据此扩写为已经形成通用标准。