像批改作业时非要等全班交齐，传统智能体强化学习常被最慢的任务拖住：短任务早已完成，计算资源却还在空等。SAO（Single-rollout Asynchronous Optimization）改成“随交随改”：每个问题只执行一次，轨迹——智能体从接题、调用工具到获得反馈的完整经历——一生成就用于训练，不必为同一问题凑齐多份答案再比较。
难点是，只看一次经历，判断“这一步到底好不好”更容易出错。作者的关键处理是让负责估计行动价值的 value model 比实际行动的 policy model 学得更快：policy 每更新一次，value model 更新三次。异步训练还会产生 policy lag——轨迹由较旧版本生成、训练时模型已经变化；SAO因此按 token 检查新旧概率差异，直接屏蔽偏差过大的部分。
作者称，SAO可稳定训练约一千步，并在 SWE-Bench Verified、BeyondAIME 和 IMOAnswerBench 等智能体编程与推理基准上持续优于 GRPO 及其变体；它也已用于开放模型 GLM-5.2（750B-A40B）的智能体强化学习流程。这些效果目前均来自论文作者报告。