你试了十道菜，只端出最好的一道，客人可能觉得你手艺不错。可如果你试了一万道，只展示最成功的那盘，漂亮结果里就难免混进运气。量化策略也一样：研究者反复调整参数，再留下历史表现最好的版本，这份“冠军回测”未必代表真正有效的交易规律。
论文提出 MinervaScore，想给这种择优后的策略做一次统计体检。它不只看夏普比率——大致衡量每承受一单位收益波动能获得多少超额回报——还追问研究者试过多少版本、赢家离开调参数据后是否站得住，以及历史记录是否足够长。值得先说清的是，本文所有结果均来自作者 Maria Laura Santoni、Vincent Jouanne 和 Matthew L. Scullin 的论文，尚无独立信源交叉验证。
漂亮曲线漏掉了什么？
回测，就是把一套交易规则放进历史数据，模拟它过去会赚多少、亏多少。它适合筛选策略，却不能自动证明未来仍然有效。
问题首先出在“挑冠军”。论文举例，一位投资者可能在十年数据上测试一万组参数，只保留夏普比率最高的一组。即使所有方案都只是噪声，一万次尝试的最高值也可能相当亮眼。普通收益率、夏普比率和回撤不会告诉读者：这个结果究竟打败了多少失败版本。
留出一段未参与调参的数据做样本外验证，相当于让策略参加一次没见过题目的考试。但这仍不能彻底解决问题。只要研究者在样本外结果上继续比较大量候选方案，最后的赢家依旧是许多带噪估计中的最大值。
MinervaScore因此被放在搜索结束之后。优化器负责找候选策略，评分器负责检查已经选出的赢家。作者强调，两者必须分开：如果研究者反过来专门优化 MinervaScore，这把尺子也会成为新的调参目标。
五道门，缺一不可
这套评分综合五项检查，每项盯住一种常见的自欺方式。
- Deflated Sharpe Ratio（DSR，折减夏普比率）检查“搜索运气”：考虑试过多少个相对独立的方案，以及收益分布偏斜、极端波动等因素后，赢家的夏普比率是否仍然异常。
- Probability of Backtest Overfitting（PBO，回测过拟合概率）检查“赢家是否稳定”：在调参数据里胜出的方案，到了未见数据上会不会掉到同组候选的中位数以下。
- Superior Predictive Ability（SPA，优越预测能力检验）检查“相对基准的优势是否也可能来自反复比较”，并考虑数据之间的依赖关系。
- Minimum Track Record Length（MinTRL，最低记录长度）检查证据是否够长：现有历史能否在指定置信水平下支持观察到的夏普比率。
- regime-stability diagnostic（市场状态稳定性诊断）检查收益证据是否只集中在一种市场环境，而不是分布在明显不同的条件中。这是作者自行设计、也最具启发式色彩的一项。
MinervaScore先计算每项结果距离准入门槛有多远。超过门槛是正距离，没过则是负距离，也就是论文所说的 signed margin。随后，它按权重聚合五个距离，并校正各项之间的相关性，得到原始分数，再映射为 0—100 的显示分。
这里有个关键设计：四项大幅通过，不能抵消一项明确失败。只有五道门全部通过，策略才会获得 Robustness Seal；也只有获得这枚标记，界面才会显示 80 分或以上。未通过者最高只能是 79 分。因此，80 分不是“八成概率赚钱”，而是一条报告边界。
作者还处理了一个不显眼但实际的问题：不少检验值会挤在边界上。论文称，在校准样本中，不同策略家族有 60%—95% 的 DSR 被报告为精确的零。若直接平均，轻微失败和严重失败看起来完全相同。MinervaScore改用 DSR 背后的检验统计量，并对其他有上下界的指标做单调变换，以保留失败程度。若缺少必要的底层统计量，系统不近似补分，而是拒绝给分。
0.989很好看，但要看它测了什么
作者用 359,062 条 production backtest records 校准评分。这个数字指生产环境中的回测记录，不是 359,062 个独立策略、账户或实盘样本。
在真实优劣已知的合成市场里，MinervaScore在论文所谓 headline difficulty 下取得 0.989 的 AUROC。AUROC可以理解为：随机抽取一个有真实信号的策略和一个没有信号的策略，评分把前者排在后者之前的能力；0.5近似随机，1代表完全区分。
但这个漂亮数字不能单独看。相同表格中，校正后的单项 DSR 为 0.988，GT-Score proxy 为 0.986，简单统计通过门数的方法为 0.960。换句话说，MinervaScore在该合成场景里确实表现很好，但相对强基线的增益很小，主要区分能力似乎已经由校正后的 DSR 提供。复合评分的额外价值，更像是把过拟合、基准比较、记录长度和市场状态稳定性放进同一张可审计的体检表。
更重要的结果来自真实市场。作者预先登记分析方案，再一次性测试开发阶段未见的数据。在这个被作者描述为“仅有有限残存优势”的样本中，MinervaScore与未来表现没有显著关系：Spearman秩相关系数 ，单侧置换检验 。前者接近零，后者也没有提供显著证据。
这组反差恰好划清了评分的边界：它能在设定好的合成市场里识别统计证据，却尚未证明能预测真实市场中的未来收益。作者也明确把它定位为验证与报告层，而不是盈利概率模型。
为什么仍然值得关注？
MinervaScore最有意思的地方，不是把复杂检验包装成一个漂亮整数，而是迫使回测报告补上经常被省略的信息：搜索规模有多大，赢家是否经得住样本外检验，证据是否足够长，优势是否集中在特定环境。
这让讨论从“夏普率有多高”转向“这份成绩经过了怎样的考试”。它没有消灭择优偏差，也没有给出未来赚钱保证；它只是让研究者更难用一条冠军曲线遮住背后的大量尝试。对策略筛选来说，这种可追溯性本身就有价值。
局限与未知
- 全部事实和效果数字只有论文这一处信源。合成市场的 headline difficulty、GT-Score proxy 等具体定义及完整比较设置未在供稿中充分展开，0.989的场景代表性无法据此判断。
- 真实市场检验没有发现预测关系，但作者称样本属于“有限残存优势”的群体；材料未披露更详细的样本构成，因此阴性结果能否外推到其他策略群体仍不清楚。
- 0—100分和 Robustness Seal 很像评级，但它们只表示五项统计门槛及同类结果中的相对位置。它们不是未来盈利概率，也未被证明具有真实市场预测能力。