Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.110 — 2026-10-22
PAPER 约 1 分钟

搜索智能体的奖励该分给谁

把搜索和作答分开记功,避免 AI 答对了却没学会找证据。

像给团队项目打分:资料找对了,报告却写错,不能让查资料的人和写报告的人一起挨罚。多轮搜索智能体也有这个问题。常用的 GRPO——按同组多个回答的相对表现计算奖励——会把最终得分发给整段搜索与作答过程,混淆“找到证据”和“用好证据”。论文发现,Search-R1 虽提高了七个问答基准的准确率,但在 Bamboogle 上,正确答案中有检索证据支持的比例反而从 84.0% 降至 42.9%。换句话说,模型更会答题了,却更可能靠记忆作答。

作者提出 GCA,把奖励按环节重新归因:搜到答案相关证据却答错时,少责怪搜索、多责怪作答;答对但绕过本可检索的证据时,也少给一些奖励。修正幅度最多为每个 token——模型处理文字的基本单位——原优势值的 10%,不会改变原奖励的正负方向,也不需要额外模型或训练阶段。作者自述,GCA 相比 Search-R1 将平均精确匹配率提高 5.7 至 6.3 个百分点,并把正确答案的证据支持率从 76.9% 提至 93.4%。不过,它用“首次搜到含答案材料”近似判断有效搜索,并不能证明每一步搜索都真正促成了答案。


供稿材料 SOURCES — 1

← 返回 2026-10-22 · 学术板块