Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.109 — 2026-10-21
NEWS 2 信源 约 1 分钟

实验室自报分数平均高出6.4%

开源榜单比对1629组成绩:实验室自报分数平均高6.4%,模型卡不能当独立认证。

IMAGE — r/LocalLLaMA 日榜

同一名考生、同一张试卷,换个考场和监考流程,成绩也可能不同。模型评测同样如此。开源排行榜 whatmodel.sh 的作者称,他整理了 1629 组公开结果,并从中匹配出 611 组可比数据,覆盖 180 个模型和 103 项 Benchmark(用固定任务衡量模型能力的标准化考试)。在“同一模型、同一测试”的对照中,实验室公布的成绩平均比独立测试者高 6.4%。

DeepSeek-V4.1-Flash-1017 是一个直观个案:其模型卡——发布方提供的模型说明文档——给出的 Terminal-Bench 4.0 成绩为 42.3%,AA 和 Vals index 分别测得 34% 与 31.82%。Terminal-Bench 用真实终端任务检验 AI Agent 操作计算机的能力,但分数也受运行框架、机器性能和执行速度影响。帖子指出,模型卡采用 Claude Code harness;至于独立测试是否用了不同 harness,作者只是推测,材料没有给出确认。

所以,6.4% 不宜直接理解成实验室统一“虚报”。它更明确地提醒读者:模型卡分数是发布方披露,不等于第三方验证;比较榜单时,还要看测试流程和运行环境是否一致。相关数据与代码已公开,但上述统计与个案均来自帖子作者自述。


供稿材料 SOURCES — 2

← 返回 2026-10-21 · 开源板块