排行榜每天刷新，名次置信度也该在线更新

你每天打开模型排行榜：昨天 A 第一，今天 B 反超。看到差距拉开，团队立刻宣布赢家；差距不够明显，就继续加题。这个做法很自然，却暗藏一个统计陷阱：普通置信区间只保证在事先约定的时点查看时可靠。反复刷新，并挑结果最漂亮的时候停下，会把偶然波动当成定论。

Georgia Institute of Technology 的 Hamed Khosravi 与 Xiaoming Huo 提出 rank confidence sequences（排名置信序列）：榜单每增加一道评测题，就同步更新每个模型“可能处于哪些名次”。只要预先设定错误水平 $\alpha$，论文证明这些集合能以至少 $1-\alpha$ 的概率，在所有模型、所有查看时点上同时包含真实名次。以下效果与实验结论均来自论文原文，尚无独立信源交叉验证。

多看几眼，为什么会出问题？

先区分两种工具。置信区间是在一个时点表达不确定性，比如“这个模型的真实名次可能是第 1 至第 3”。置信序列则是一串随数据到来不断更新的区间，并对全部时点一起提供保证。

差别不在于区间会不会更新，而在于保证覆盖什么。固定样本方法回答的是：“如果评测题数事先定好，只在结束时看一次，出错概率不超过 $\alpha$。”它没有承诺每天查看仍然如此。每刷新一次，就多一次被随机波动骗过的机会；而“看起来明确就停”又恰好倾向于在波动最大时作决定。

论文用六个能力相同的模拟模型展示了这种失真：反复查看时，固定样本排名集合至少一次作出错误陈述的频率超过名义错误水平；只在预先安排的单一时点查看，同一方法仍然有效。作者据此强调，问题不是普通区间算错了，而是使用方式超出了它的保证。

给每对模型安排一名“赌徒”

这套方法先不直接猜完整排名，而是持续积累两两比较的证据。

对每个有方向的模型对，例如“A 是否优于 B”，系统维护一笔虚拟财富。每来一道题，赌徒就根据 A、B 在同一道题上的得分差下注。若 A 确实更强，财富会逐渐增长；若“A 不比 B 强”这个假设成立，这笔财富在平均意义上不会凭空膨胀。

这种随时间更新的证据叫 e-process——一种即使被反复查看、按观察结果决定何时停止，也能维持错误控制的统计过程。论文还同时使用多种下注比例，避免证据积累速度过度依赖一个事先猜定的模型差距。

共同答题很关键。同一道题可能对所有模型都容易，也可能都难，因此各模型得分并不独立。论文允许同一评测条目上不同模型的分数存在任意依赖；它不是把相关性忽略掉，而是让每个比较直接使用同题得分差，再用不要求这些证据相互独立的方式汇总。

不急着选冠军，先淘汰不可信的排序

两两证据之后还有关键一步：closed testing（闭合检验）。系统列出数据仍可能支持的模型排序，其中允许并列；每一种排序，都对应一组它认为应该成立的两两关系。当反对某种排序的证据足够强，系统就永久淘汰它。

可以把它想成侦探排除嫌疑版本。只要真实排序没有被误删，所有尚存版本共同认可的结论就都可靠。于是系统只报告这些“幸存排序的共识”：谁确定高于谁、某模型可能落在哪些名次、谁确定进入或退出 top-$k$，以及哪些模型可归入同一层级。

这比把每一对模型完全分开处理更充分地利用了排名的逻辑。例如，若证据支持 A 高于 B、B 高于 C，那么排序结构也约束了 A 与 C。论文的精确算法直接处理所有允许并列的排序；另有多项式时间的保守捷径，以及面向更大模型数的整数规划实现。精确枚举给出的排名集合可能更窄，捷径则可能少认证一些比较。

它改变的是评测流程

排名置信序列最直接的价值，是把“能不能看榜”与“统计保证是否失效”拆开。评测者可以每完成一道题就看一次，也可以依据当前结果决定何时停止，而不额外抬高预设错误率。

它还允许逐个停止模型的评测。比如，一个模型是否进入 top-$k$ 已经确定，就可以将它退出后续计算；涉及它的证据冻结，其他模型继续答题。论文证明，只要退出决定仅使用已经观察到的结果，且退出后不再恢复，这种做法仍保留整体保证。论文在公开 Open LLM Leaderboard 的逐题数据和模拟实验中评估了由此带来的计算节省，但正文材料中的具体节省比例未完整呈现，因此不宜量化转述。

“随时有效”也并未表现出明显的单次查看代价。论文报告，在预先安排的评测中点，其方法在六个公开基准中的五个匹配或超过最强的固定样本对照；在 TruthfulQA 上落后 4 个百分点。中点以后，其有限题库修正会利用“剩余题目越来越少”这一信息，因此后段优势不能单纯解释为统计功效更强。

为什么值得关注

模型榜单不只是一张最终成绩表，也越来越像一个持续运行的仪表盘。团队会边评边看，决定是否追加题目、停止某个模型，或宣布 top-$k$ 结果。传统误差条往往只适合“题数先定、最后看一次”的流程；排名置信序列把保证改造成与日常操作相匹配的在线版本。

它也改变了榜单表达方式。单一名次看起来精确，却藏起了模型分数接近时的不确定性。“可能第 1 至第 3”不如一个冠军名字醒目，但更接近有限评测真正支持的结论。随着题目增加，这个集合只会收窄，已认证的高低关系只会增加。

局限与未知

• 模型名单必须事先固定，评测题不能根据中途结果自适应挑选。固定题库还必须预先随机排列，并让所有尚未退出的模型按同一顺序作答。
• 保证只针对给定基准上的能力，或独立同分布抽取题目时的期望得分；它不处理基准污染，也不保证结论能迁移到其他任务。
• “真实排名”被定义为按平均得分排序，严格更高者计入前位，并列者共享名次。论文关于节省计算和多数基准上功效接近的结论来自作者实验，适用范围仍需更多独立复现。