Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.118 — 2026-10-30
PAPER HF 386 约 7 分钟

多模态智能体开始递归造自己

Trinity让智能体自造练习、诊断短板并改进任务脚手架,亮点是闭环,风险也在闭环。

你让一个 AI 先玩迷宫,再检查货架,最后控制机器人找杯子。三件事看起来毫不相干,却可能都要求它看清环境、记住变化,再据此行动。通常,人类会为每类任务分别设计训练环境和运行流程。The Trinity 想换一种办法:先找出不同任务共享的能力,再让系统自己出练习、检查结果、修改下一轮的工作方式。

这是一套面向多模态智能体的递归自我改进框架。多模态智能体,指能同时处理文字、图像等信息,并在环境中连续采取行动的 AI。这里的“递归”也需要说准:它不是让模型复制自己,更不是自主改写模型权重;实验中的底层模型始终冻结。真正反复更新的是 Harness——包在模型外面的任务脚手架,包括提示、记忆、规划、工具调用、运行流程和评分规则。

论文由 InfRec、National University of Singapore 等机构的研究者完成。以下结果均来自论文自己的实验,尚无独立复现。

三个角色,把训练接成闭环

Trinity 把系统分成 Creator、Explorer 和 Evolver。

Explorer 像做题者,进入环境执行任务,留下成功或失败的轨迹。Evolver 像教练,查看这些经过验证的过程,判断真正缺的是哪种能力,并提出 Harness 的改法。Creator 则像出题人,把能力短板变成新的训练世界。

关键在于“经过验证”。可验证环境不仅给任务,还能可靠判断行动是否成功,例如检查程序测试是否通过,或环境是否进入目标状态。没有这种自动核验,系统可能把一次错误尝试当成进步,再将错误带进下一轮。

三者由此形成循环:做题,找短板,出新题,修改脚手架,再做一轮。论文把任务、能力、模拟世界和 Harness 更新放进同一套反馈链,而不是各自优化。

不按题型分班,按能力分班

Trinity 最重要的转向,是不再只按任务表面类别组织训练。论文先把公开基准整理成目标、观察、动作、反馈、完成条件和预算,再根据训练任务的规格与执行轨迹,构造一棵层次化的 capability tree,即“能力树”。

比如,ARC-AGI-3 要识别网格状态及其变化,Micromouse 要在探索迷宫时持续更新环境信息。任务形式不同,却都依赖准确感知和状态追踪。Trinity 会把这种共同要求当作学习目标。

这像是不再分别开“迷宫班”和“网格题班”,而是开一门“如何持续更新你对现场的判断”。同一能力节点下的不同任务,可以共享训练信号;不同节点又保留各自的专门化方向。

论文把这一步称为 Capability-Driven Real2Sim2Real:从真实任务出发,抽取共同的决策要求,建立更简单、可自动核验的模拟世界;系统在模拟世界里练习,再回到原始任务测试迁移效果。模拟环境不照搬目标任务的布局、私有证明或解题轨迹,重点是保留核心决策过程。

改的不是“大脑”,而是外部工作法

Harness 被拆成六类功能:感知、记忆、推理、规划、工具编排和执行循环。Explorer 沿能力树逐层改进这些模块,并采用 selective inheritance——选择性继承。子节点会比较新版父模块与旧版父模块;只有新版在相同验证任务和预算下取得更高的任务完成数,才继承更新。节点自己的模块则继续保留。

于是,经过验证的改动能跨轮次累积,又不会自动覆盖所有分支。能力树的拓扑在实验中保持固定,兄弟分支独立演化。最终形成的 Harness tree,更像一柜针对不同能力准备的工具箱,而不是一套通吃所有任务的提示词。

任务到来时,Capability-Aware Harness Router——能力感知路由器——读取公开的任务目标、初始观察、元数据和图像,再参考已经验证的执行经验,为它选择合适的 Harness 配置。它不能偷看未见任务的能力标签,也不能在选错后自动回退。

提升来自哪里?

实验使用冻结的 Claude Opus 5 作为底层模型,覆盖 28 个训练基准和 18 个未见基准。这里“未见”只表示没有用于训练,不等于已经证明能应对任意开放世界任务。

从初始版本到第 4 轮,28 个训练基准的等权平均分从 39.1 升至 73.2;18 个未见基准从 42.1 升至 64.1。第一轮贡献最大,但第 2 至第 4 轮仍分别再增加 9.4 和 6.4 分。这说明收益并非全部来自第一次重写脚手架。不过,进展并不均匀:Mastermind 停在 88.9,Eleusis 还从 82.2 小幅降至 81.1。

组织方式也很重要。只使用模块、不加入额外技能时,扁平的能力分组在训练集和未见集上分别得到 49.25 和 39.43;换成能力树后,使用原始任务训练达到 53.44 和 42.31;再换成可验证模拟世界,升至 56.95 和 47.26。首轮模拟世界路线的训练成本更高,为 405.70M tokens;论文称后续复用世界可以摊薄创建成本。

完整路由器在训练集和未见集上分别得到 71.27 和 60.96,接近事后挑选最佳兼容 Harness 的 Oracle 参考值 73.16 和 63.61。这里的 Oracle 是回看结果后的上限参照,不是可部署方法。

论文还测试了两项实体机器人任务。包含 Harness 与任务技能准备的完整配置中,SOON 的模拟成功率从 0 升至 80%,真机从 0 升至 60%;CaP-X 分别从 10% 升至 60%、从 0 升至 60%。但这些比较没有拆开 Harness 演化与技能准备各自贡献了多少。

为什么值得关注

Trinity 的新意,不只是让 AI 自动出题,也不只是让它修改提示。它把“发现共同能力—生成可核验练习—更新外部脚手架—回到原任务验收”连成了闭环。系统改善的对象从单个任务,转向可以跨任务复用的决策模块。

这也解释了标题里“开始递归造自己”的边界:它造的是自己的训练场、能力目录和工作流程,不是自己的底层模型。这个边界看似保守,反而让结果更容易检查。每次更新都有来源、版本和执行记录,失败也能留在反馈链中。

但闭环的另一面同样重要。能力树决定系统看见哪些共同点;验证器决定什么算成功;模拟世界决定它反复练什么。若这些环节带有偏差,递归过程也可能稳定地放大偏差。论文证明了固定能力树上可以持续积累收益,却还没有证明系统能自行发现全新的能力类别。

局限与未知

  • 全部效果由论文单一信源报告,尚缺独立复现。不同基准虽统一到 0—100 分量表,但原始指标各异,平均分会掩盖任务间差别。
  • 能力树、底层模型和拓扑在实验中固定;论文也承认目前主要研究 Harness 层面的自我改进。动态扩展能力树和训练模型参数仍是展望。
  • 实体任务数量只有两个,而且评估的是完整 Harness—技能配置。它们说明闭环可以触及物理环境,但不足以证明开放世界泛化或单独确认模块演化的贡献。

供稿材料 SOURCES — 1

← 返回 2026-10-30 · 学术板块