同一道选择题,AI 原本写“正确答案是 B”,训练后改写成“答案是 \boxed{B}”。答案没变,但只认方框的评分程序会把前者判错、后者判对。Zongye Lyu 的研究借此追问:RLVR——用程序核对答案并奖励模型的强化学习——在数学训练后展现的跨领域进步,究竟有多少是真学会了新本事。
作者重新读取已生成的回答,用同一套答案提取器同时识别方框和正文。在一个 ARC-Challenge 实验中,原提取器给出的提升是 30.6 个百分点,重评后只剩 9.8 个百分点。汇总四组 7B SimpleRL 基础模型与 RL 模型,在 MMLU、MMLU-Pro 和 ARC-Challenge 上,原先报告的跨域选择题增益有 82% 消失;独立 LLM 阅读器估得 77%。说白了,RL 很大程度上教会模型把答案搬到评分程序最爱看的位置。
这不等于 RLVR 没有迁移能力:一组采用另一训练方案的 32B 模型几乎没有这种格式增益。论文也未复现各模型发布时的原始评测,因此更稳妥的结论是,跨域分数不仅属于模型,也部分属于读取答案的程序。