你要选一个暴雨预警系统。甲很少报警，但一报往往靠谱；乙宁可多报，也不愿漏掉危险。谁更好？答案取决于你更怕漏报，还是更怕误报。天气模型的排行榜也面临同一道选择题。
Tobias Biegert、Sam Allen、Zhongwei Zhang 和 Sebastian Lerch 的论文研究了这个问题。他们发现，即使固定模型、数据和极端事件定义，只更换评测指标，AI 天气模型与传统物理模型的名次也会明显变化。这里的重点不是评测遭到操纵，而是每把“尺子”都在奖励不同的行为。
论文还提醒我们，AI 天气模型已经进入业务运行，并能以传统模型一小部分的计算成本取得有竞争力的预报效果。但这些说法和本文的效果结论均来自同一篇论文，尚不是跨信源验证。
先把比赛条件锁死
传统的数值天气预报（NWP）会把大气运动的物理方程放进计算机逐步求解。AI 天气模型则从历史数据中学习预测关系。极端天气很少发生，像在一万天里寻找几十天暴雨。如果只看所有日期的平均误差，大量普通天气可能淹没最重要的失误。
研究者因此设计了一场尽量统一的比较。他们选取三个 AI 模型：Pangu-Weather、GraphCast 和 Aurora；对手是欧洲中期天气预报中心 ECMWF 业务使用的物理模型 HRES。
四个模型使用相同的预报—观测配对和相同的纪录阈值，在同一网格上接受评估。样本包含 2022 年 708 个起报时次，覆盖 1、3、5、7、10 天预报。任务是预测破纪录的高温、低温和大风。纪录按天气变量、网格位置和月份分别定义，参照 1979—2017 年 ERA5 再分析资料。主要结果汇总陆地网格，并排除南极地区。
这样做不能消除所有偏差，但能先排除一种常见混淆：模型排名不同，究竟是模型能力不同，还是论文用了不同年份、地区和极端事件定义？
三把尺子，量出三种冠军
第一把尺子是 outcome-weighted MSE（结果加权均方误差，简称 owMSE）。它只检查已经发生极端事件的时刻。直觉上，这很合理：既然研究极端天气，就只看极端天气发生时模型报得准不准。
问题在于，它不处罚误报。模型把普通天气错报成破纪录事件，不会进入这项评分。论文把这种激励称为“预报员困境”：只要报得更极端，就可能在这类评测中占便宜。
在 owMSE 下，HRES 对高温、低温和大风纪录通常都拿到最低误差，也就是表现最好；Pangu-Weather 通常最差。若只看这张榜，结论很容易变成“物理模型更会预测极端天气”。
第二把尺子是 threshold-weighted MSE（阈值加权均方误差，简称 twMSE）。它既处罚漏报，也处罚误报，而且在预测值与观测值围绕阈值对称时，对误报的惩罚是漏报的三倍。换尺之后，长预报时效上的结果几乎倒转：HRES 明显落后于全部 AI 模型，Aurora 在三类纪录中通常得分最低。连 owMSE 下表现不佳的 Pangu-Weather，也经常在较长时效上超过 HRES 和 GraphCast。
第三把尺子是 twPCRPS。它先把单点预测重新校准成概率分布，再评估模型对阈值突破提供了多少信息。这里“校准”可以理解为：模型所表达的风险强弱，是否与实际发生频率相称。用这把尺子时，HRES 不再稳定领先 AI；中长期低温纪录预测中，Aurora 和 GraphCast 优于 HRES，Aurora 还在第 10 天的高温纪录预测中得分最低。
排名为什么会翻转？
论文用列联表拆解了命中、漏报和误报。结果很清楚：三个 AI 模型都低估了破纪录事件的发生频率；HRES 报极端事件更频繁，在低温和大风任务上的预测频率更接近实际，高温则明显过度预测。
以高温纪录为例，HRES 的漏报率为 46.89%，Pangu-Weather、GraphCast 和 Aurora 分别为 81.62%、69.93% 和 73.16%。只在事件已经发生时评分，自然更奖励漏报较少的 HRES。
但 HRES 的高温误报比例为 65.09%，其高温 twMSE 中有 85.72% 来自误报。低温和大风任务里，误报也分别贡献其 twMSE 的 65.10% 和 77.44%。AI 模型的损失则通常由漏报主导。于是，只要指标开始认真处罚误报，HRES 的优势就会迅速消失。
换句话说，这些指标并非在重复测量同一种“准确”。owMSE 更关心事件发生后有没有抓住；twMSE 同时计算误报，并对它施加更重惩罚；twPCRPS 则通过重新校准，更集中地衡量预测包含多少可用信息。
进一步分解分数后，论文发现，各模型区分极端与非极端的能力大致相近，Pangu-Weather持续最弱。排名差异主要来自 miscalibration——也就是预测强度与实际频率不够匹配。HRES 的校准误差随预报时间迅速增大；AI 模型中，Aurora 通常校准得最好。
真正该问的不是“谁第一”
这项研究最值得关注的地方，不是替某个天气模型翻案，而是把排行榜背后的价值选择摊开了。
如果漏掉一次危险事件的代价远高于多发一次警报，那么偏爱少漏报的指标可能更符合实际需求。若误报会造成昂贵的停工、疏散或资源调度，评测就必须认真计算误报。论文明确指出，twMSE 对误报的处罚可能不符合所有使用者的偏好；twPCRPS 虽能削弱校准差异，却只衡量潜在的信息含量。
因此，“最好模型”不能脱离指标、阈值和使用场景单独成立。这不只适用于天气预测。凡是样本稀少、漏报与误报代价不对称的高风险机器学习任务，排行榜都应该先回答：它究竟奖励了什么错误，又忽略了什么错误？
局限与未知
- 实验只覆盖 2022 年、三个 AI 模型、一个物理模型，以及破纪录高温、低温和大风，不能外推为所有 AI 与物理模型的普遍优劣。
- 评估所用观测场与 HRES 的构建存在内在联系，可能略微有利于物理模型；观测误差也可能改变分数和极端事件分类。
- 置信区间的计算假设各时空分数相互独立，现实中未必成立。论文认为，更完整地处理相关性可能扩大区间，因此显著性结论需要谨慎解释。