同一名考生、同一张试卷,换个考场和监考流程,成绩也可能不同。模型评测同样如此。开源排行榜 whatmodel.sh 的作者称,他整理了 1629 组公开结果,并从中匹配出 611 组可比数据,覆盖 180 个模型和 103 项 Benchmark(用固定任务衡量模型能力的标准化考试)。在“同一模型、同一测试”的对照中,实验室公布的成绩平均比独立测试者高 6.4%。
DeepSeek-V4.1-Flash-1017 是一个直观个案:其模型卡——发布方提供的模型说明文档——给出的 Terminal-Bench 4.0 成绩为 42.3%,AA 和 Vals index 分别测得 34% 与 31.82%。Terminal-Bench 用真实终端任务检验 AI Agent 操作计算机的能力,但分数也受运行框架、机器性能和执行速度影响。帖子指出,模型卡采用 Claude Code harness;至于独立测试是否用了不同 harness,作者只是推测,材料没有给出确认。
所以,6.4% 不宜直接理解成实验室统一“虚报”。它更明确地提醒读者:模型卡分数是发布方披露,不等于第三方验证;比较榜单时,还要看测试流程和运行环境是否一致。相关数据与代码已公开,但上述统计与个案均来自帖子作者自述。