Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.108 — 2026-10-20
PAPER 约 1 分钟

RLVR的跨域进步,可能只是换了答题框

重评同一批回答后,7B 模型跨域增益的 82% 消失了:模型可能只是更会把答案写进框里。

同一道选择题,AI 原本写“正确答案是 B”,训练后改写成“答案是 \boxed{B}”。答案没变,但只认方框的评分程序会把前者判错、后者判对。Zongye Lyu 的研究借此追问:RLVR——用程序核对答案并奖励模型的强化学习——在数学训练后展现的跨领域进步,究竟有多少是真学会了新本事。

作者重新读取已生成的回答,用同一套答案提取器同时识别方框和正文。在一个 ARC-Challenge 实验中,原提取器给出的提升是 30.6 个百分点,重评后只剩 9.8 个百分点。汇总四组 7B SimpleRL 基础模型与 RL 模型,在 MMLU、MMLU-Pro 和 ARC-Challenge 上,原先报告的跨域选择题增益有 82% 消失;独立 LLM 阅读器估得 77%。说白了,RL 很大程度上教会模型把答案搬到评分程序最爱看的位置。

这不等于 RLVR 没有迁移能力:一组采用另一训练方案的 32B 模型几乎没有这种格式增益。论文也未复现各模型发布时的原始评测,因此更稳妥的结论是,跨域分数不仅属于模型,也部分属于读取答案的程序。


供稿材料 SOURCES — 1

← 返回 2026-10-20 · 学术板块