Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.094 — 2026-10-06
PAPER 约 1 分钟

首个Token并非裁判的最终意见

只看首个 Token 虽省钱,却可能把位置偏差系统性算高。

让 AI 当评委时,有些评测只偷看它开口前最倾向输出的第一个字符,就当成最终裁决。这样便宜,但像在裁判刚张嘴时就替他填好答案:论文发现,模型尚未决定选谁时,这种读法会把它强行塞进“A”或“B”,而且往往锁定排在前面的回答。

研究者比较了两种做法:一是读取首个 Token 的 Logits——模型选择下一个词前给各候选项的原始倾向分数;二是让模型完整生成,再从文字中提取结论。交换两个候选回答的位置后,前一种做法在所有受测条件下都报告了更高的位置偏差,因此相关数字更像上界,而非模型真实判断。更微妙的是,少数模型即使先输出了合法选项,随后推理也会改判。

这主要会误导“评委是否公正”的审计,而对普通准确率影响较小。作者建议至少同时报告模型有多常一开口就给出裁决;不过关键差异主要在 Qwen3 上得到充分观测,其他模型因几乎总能直接作答,样本不足以独立复现。


供稿材料 SOURCES — 1

← 返回 2026-10-06 · 学术板块