Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.104 — 2026-10-16
PAPER H 37 · HF 12 约 1 分钟

LongR用稠密奖励训练长上下文推理

LongR把长推理的终点得分拆成沿途信号,教模型边想边找关键材料。

让 AI 从一摞长文档里找答案,像让学生做开卷考试:只在最后判对错,它很难知道自己哪次翻资料真正有用。LongR 想解决的正是这个问题。它用强化学习(RL——让模型反复作答,再按奖励调整行为),但不只在答案完成时给一次分数,而是鼓励模型在推理途中找到更有价值的内容。

具体来说,LongR 让模型交替“思考”和“查阅”,并加入“上下文密度奖励”:用相关文档带来的相对信息增益,衡量每次读取是否让答案更有把握。这个信号不需要人工逐段标注,也不用预先把文档切块。论文作者称,在 LongBench v2——一套长上下文能力测试——上,LongR 总体提升超过 9%;单独比较奖励设计时,它比只看最终答案的方案高约 4%。这说明,长上下文训练的关键可能不只是让模型读得更多,也包括及时告诉它:刚才读到的东西究竟有没有用。上述效果来自论文自报,材料未提供独立复现结果。


供稿材料 SOURCES — 1

← 返回 2026-10-16 · 学术板块