排行榜第一，未必真比第二强。就像两名学生只做同一套抽题考试，换一批题，冠军可能易位。模型榜单也有这种抽样误差：评测只覆盖有限题目，分数既反映能力，也夹杂抽题带来的随机波动。
据 Towards Data Science 报道，Utkarsh Mangal 比较了 8 个小型开放模型在同一批 2,000 道 MMLU 题目上的表现。前两名得分为 71.8% 和 70.0%，但差距未达到通常的 5% 统计显著性门槛——这不是证明两者一样，而是现有题量仍不足以可靠区分。评测缩到 200 题，再用 bootstrap（把现有题目反复有放回重抽，模拟换卷）测试时，原本第二名约有三成机会登顶。换句话说，题目越少，榜首越可能只是抽样运气；看排名时，最好同时报告名次的不确定性。