教 AI 办事,不能只看它最后有没有办成。比如取消订单时,它可能碰巧拿对了编号,却从未先查询;若把这段“成功经历”直接当教材,模型学到的其实是猜答案。Trajectory2Gym 针对的正是这个问题:工具使用轨迹——AI 从接收任务到查询、判断、调用工具的完整记录——即使结果正确,也未必提供了可靠的监督信号。
作者检查的 34,772 条合格候选轨迹中,40.9% 最多只有两次受监督的决策,只有 10.0% 包含“真实出错后再作决定”的过程。为补上这些缺口,Trajectory2Gym 会围绕稀缺的多步结构合成并实际执行任务,例如先查询、遇错后补充信息、重试,再依据返回结果操作;训练时只保留能由模型当时已看到的信息支持的动作,避免拿后来答案倒推过程。
作者称,这套方法用于五种规模的 Qwen3 后,在 Tau1、Tau2 和 BFCL 三项工具使用测试上均有提升,三项等权平均增加 16.9 至 29.8 个百分点。其中,经训练的 4B 模型在 Tau2 得到 69.17,超过公开的 30B-A3B 初始模型的 28.33。值得注意的不是“小模型胜大模型”本身,而是数据能否讲清每一步为何成立,可能比单纯积攒成功案例更重要。