你教会 AI 用客服系统退款,第二天“查询订单”接口改名、参数换了,旧流程就可能整套失灵。Δτ-Bench 要测的正是这种现实麻烦:API——软件之间约定好的办事窗口——持续变化时,智能体还能不能找到可行、甚至更高效的新路径,而不是死守背下来的操作步骤。
基准包含 42 个领域、1,588 个经验证的多轮任务,并让工具生态依次经历六种状态。变化会保留完成任务所需的能力,但熟悉的工具可能消失或被替代,新工具也会混在功能重叠、说明嘈杂的环境里。结果最值得警惕:作者报告,参评模型或运行框架中的最佳任务成功率也只有 42.3%;现有的技能学习方法虽有早期收益,却不能稳定转化为生态变化后的适应能力。
作者因此提出 Steward,同时维护工具与“程序性知识”——也就是事情该按什么步骤完成——并在执行中动态提供工具。论文称它能以较低维护开销保持更高成功率,也更善于修复中断流程、采用高效替代方案;不过材料未披露这些提升的具体数值。