你让几支队伍同时完成复杂项目:有的很快交卷,有的忙上四小时还没做完。如果必须等所有人到齐才能开始复盘,先完成的人和老师都只能干等。训练长任务 Agent 也有这个问题。QwenGyre 想解决的,正是怎样让“执行任务”和“根据结果学习”更顺畅地衔接,少让昂贵的 GPU 闲着。
最慢的一条轨迹,拖住整轮训练
Agent——能连续观察、决策并调用工具的 AI——通常通过强化学习(RL)训练:先让模型执行任务,再按完成情况或验证器评分调整参数,让高回报行为更常出现。
执行并记录每一步动作、观察和结果,叫作 rollout(轨迹采样)。短任务里,大家差不多同时结束,统一收集、统一训练尚可。超长任务则不同:每条轨迹耗时不定,生成数据的一侧可能排起长队,负责更新模型的一侧却没有足够数据可用。
这种“慢”不是修辞。据供稿所引的 QwenGyre 论文,在旗舰模型的 NL2RepoBench 实验中,61.1% 的完整记录持续至少四小时;38.2% 的任务里,连最慢的那次尝试也最终撞上总超时。
GPU不必集体等下课
据 Reddit 帖子对论文的转述,QwenGyre 是面向极长任务(XLong)的弹性强化学习框架,核心之一是 Elastic Scheduler(弹性调度器)。它会按照实时负载,在 rollout 和模型训练之间重新分配 GPU,同时不打断仍在运行的任务。
可以把它理解为一间可移动隔断的教室:一部分学生还在答题,老师不必等最后一人交卷;已经完成的答卷可以先送去讲评,空出的座位也能随时改作讲评区。
论文材料给出的时间尺度很关键:一次 Agent 执行可能持续数小时,但 GPU 从生成任务切换到训练平均只需 8.52 秒,切回生成平均只需 3.46 秒。于是,一些 GPU 可以继续陪长任务运行,另一些则拿先完成的数据开始训练。
帖子转述称,这套调度相对 Colocate 方案最高加速 1.85 倍,相对 Async 方案最高加速 1.78 倍。旗舰实验中,48 个训练步骤从异步方案的 134.55 小时缩短到 75.42 小时,约少 44%。这里的“最高”不能理解成平均收益;大量任务挤在超时线附近,也限制了它相对另一种共享资源方案的优势。
没跑到终点,也不等于白跑
另一个核心设计是 Trajectory Processor(轨迹处理器)。长任务中的重试、上下文压缩和子 Agent 会从相同历史分叉,形成一棵轨迹树。处理器让这些分支共享公共前缀,并生成长度受控、去重后的训练样本,避免同一段上下文被反复保存和学习。
更实际的一点是,它不只认最终成功。论文材料称,QwenGyre 保存每次模型调用当时看到的原始输入;任务超时后,还会按任务规则给可验证的阶段成果评分。就像长跑没到终点,也可以依据沿途计时点判断哪些跑法有效。这样,耗费数小时却未完成的分支不必全部变成废料。
为什么值得关注
这项工作的重点不只是让模型“想得更久”,而是承认长任务天然参差不齐,再重新安排算力和训练数据。帖子转述称,QwenGyre 已扩展到 Qwen3.8-2.4T-A95B,每次 rollout 约处理 70 万 tokens;在 48 steps 内,NL2RepoBench 成绩从 52.5% 提升到 58.5%。如果这些结果成立,它说明超长 Agent 训练的进步不只来自模型本身,训练系统是否会等待、调度和回收失败经验,同样重要。
局限与未知
- 现有供稿的主要发布信息来自一篇非官方 Reddit 帖子,虽链接了 arXiv:2609.33848,但材料未提供论文全文,作者归属、编号和模型名拼写仍待独立核对。
- “70 万 tokens”究竟指单条轨迹、批次总量还是上下文处理量,材料没有说明;“48 steps”的口径也不明确。
- NL2RepoBench 的指标定义、测试集版本、重复实验、误差范围和基线配置均未披露,因此 52.5% 到 58.5% 只能视作论文方报告的单一结果。