Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.012 — 2026-07-16
PAPER HF 64 约 1 分钟

长任务Agent基准把考场搬进终端

新基准把数小时终端任务拆开计分,让Agent从哪一步失控清晰可测。

让 AI 在终端里连续干一个多小时,难点不只是会不会写命令。它还得记住目标、检查中间结果,并在出错后及时改路;前面一个小疏忽,可能到最后才暴露。Long-Horizon-Terminal-Bench 正是为这种长时程任务而设:它收录 46 项任务,覆盖实验复现、软件工程、科学计算等九类场景,用来检验终端 Agent——能观察环境、调用工具并持续行动的 AI——能否稳定推进复杂工作。

它最有价值的设计,是把终点判分改成“按步骤给分”。每项任务被拆成可检查的子任务,即使最终没做完,也能用密集奖励记录进度,看出 Agent 究竟卡在哪里。论文测试了 17 个前沿模型;每次运行平均经历 239 轮交互、消耗 980 万 tokens,并持续 88.9 分钟。即便采用部分得分达到 0.95 就算通过的标准,作者报告的最佳配置 Grok 4.5 成功率也只有 28.3%,各模型平均为 6.4%。这说明当前 Agent 往往不是一步都不会,而是难以长时间保持进度、核验成果并把任务收尾。


供稿材料 SOURCES — 1

← 返回 2026-07-16 · 学术板块