同一套模拟卷做得太久，学生可能只是背熟了题型。AI 基准测试也一样：它用固定测试题和评分规则比较模型，本该像温度计一样测能力；但排行榜一旦决定声誉和资源，团队就会围绕考题反复优化。高分未必代表模型更聪明，也可能只是更会应付这套试卷。
据 Quanta 报道，Max Planck Institute for Intelligent Systems 主任 Moritz Hardt 认为，问题出在基准同时扮演了“测量工具”和“竞技规则”。教科书里的留出法要求测试集锁起来，只在最后使用一次；现实中，同一排行榜却被持续挑战，测试结果又反过来指导调参。Hardt 甚至认为，机器学习系统可以在“没有做任何聪明事情”的情况下赢得榜单。
这事值得在意，因为基准不只记录进步，还会决定整个领域追逐什么。Hardt 在 2026 年出版的《The Emerging Science of Machine Learning Benchmarks》中提出，过去的基准虽有根本缺陷，却仍推动了真实进展，只是这种可信度很大程度来自“运气”；到了大语言模型时代，旧办法已更难令人信服。