像复盘一盘棋，如果只看最后采用的走法，许多“差一点成功”或“看似合理却失败”的尝试都会被丢掉。长程智能体也有这个问题：它要连续思考、调用工具，最后才拿到一次成败分数，很难判断中间哪一步真正有用。Heming Zou 提出的 TreeOPSD，试图把整棵搜索树都变成训练信号，而不只学习最终选中的一条轨迹。
具体说，系统从相同的中间状态尝试不同后续，形成搜索树，再把末端结果逐层向上汇总，为每轮行动分配“功劳”。随后，它用蒸馏——让模型模仿一套更昂贵过程给出的概率判断——把这些分支比较压成有明确边界的目标分布。这样既不需要额外的价值模型或逐步人工标注，也能让更新在达到目标后停下，减少连续小批次训练时策略越走越偏的问题。
作者报告，在 Deep Research 设置中，TreeOPSD 让 Qwen3-30B-A3B-Thinking-2507 的平均准确率比 GRPO 高 4.97 个百分点，并称提升在长程任务上尤其明显。这个结果目前来自论文作者自述，材料未提供独立复现。