让 AI Agent 用工具，就像让实习生查表、算账、再写结论。问题不只在于它会不会查，还在于它该查时有没有查，查完信不信结果，或者明明不用查却硬要查。ToolFailBench 做的就是把这些失败拆开看：它不是只给一个“答对率”，而是诊断工具使用这条链路到底断在哪一步。
这套 benchmark 包含 1,000 个单轮任务，覆盖 finance、medicine、law、cybersecurity 和 real estate 五个专业领域。所谓 tool calling，就是模型在需要时调用计算器、搜索、数据库这类外部工具；LLM Agent 则要自己判断何时调用、如何使用返回结果。ToolFailBench 把需要工具的题设计成“陷阱”：工具返回值会和模型可能记住的旧答案不同，逼它必须相信工具。另有控制任务：工具摆在旁边，但题目本应直接回答，用来测模型会不会过度依赖工具。
作者把失败分成 Tool-Skip（该调用却没调用）、Result-Ignore（调用了但不用结果）、Output-Fabrication（调用后又编出返回里没有的信息）和 Unnecessary-Tool-Use（不该调用却调用）。在 19 个 headline models 上，作者自述最佳模型的 Clean Tool-Use Rate 为 86.33%，说明这件事还没被“刷满”。更有意思的是，总分相近的模型会以不同方式失败；同等参数规模下，Llama-3.1-70B 与 Qwen2.5-72B 在控制任务准确率上相差 89 个百分点。换句话说，Agent 的短板不只是强不强，还包括它什么时候该相信工具、什么时候该收手。