你照着一本旧菜谱,用当年的食材重做一道菜,味道很接近。这只能说明菜谱写得还算清楚。换成今年的新食材,成品是否依然好吃,是另一回事。金融论文也一样:用原来的数据重现结果,不代表那个规律到了后来仍然成立。
Dmitriy Muravyev 的一篇 2026 年工作论文试图把这两道检查分开。作者用一套自主运行的 LLM 流程——让大语言模型协助寻找数据、理解研究设计并重构主要结果——处理了 2000 至 2020 年间发表于 Journal of Finance、Journal of Financial Economics 和 Review of Financial Studies 的 1,328 篇论文。其中,1,005 篇还能使用原研究期结束后的数据继续检验。
结论很有反差:旧数据上的结果大多能够重构;一旦进入新数据,留下来的效果少得多。
本文数字均来自 Alpha Architect 对该工作论文的单一二手解读。原论文正文、筛选规则和人工审核细节不在供稿中,因此以下结果更适合看作一次规模很大的初步审计,而不是已经完成独立复核的最终裁决。
先分清两场考试
第一场是“样本内复现”:沿用论文原来的研究区间、数据和方法,看能否得到相近结果。它检查的是研究过程能不能被重做,不自动证明结论正确。
第二场是“样本外检验”:把同一方法放到研究期之后的新数据里。对于实证资产定价——用历史市场数据寻找收益与估值、规模、动量等特征之间的统计关系——这一步尤其重要。因为这些关系常被写成投资因子,进入模型或策略。一个规律如果只在研究者最初观察的那段历史中成立,实际使用价值就会大打折扣。
这也是本刊 9 月 29 日报道的自然续篇。当时的重点是 AI 如何批量重构金融论文;这次真正值得看的,是“能够复现”和“继续有效”之间有多远。
旧试卷上,成绩不差
据 Alpha Architect 对论文的解读,约 75% 的关键结果在独立重构后保留了原文中的方向和统计显著性。所谓统计显著性,是说观察到的关系不太像由随机波动造成,但它不等于效果很大,更不等于未来还会出现。
从幅度看,样本内复核所得系数与论文报告值之比的中位数为 93%。系数可以理解为论文所估计关系的强弱;93% 表示典型的重构结果接近原报告值。只有 1.3% 的关键估计变成方向相反、同时仍有统计显著性的结果。多数失败并非得出了强而有力的反面结论,而是原有关系失去了统计显著性。
这部分结果说明,至少在原来的历史区间内,许多论文的主要发现可以被重新做出来。但 LLM 流程能够“重构”主要结果,不等于它严格复现了每篇论文的全部分析。
换成后来数据,效果只剩不到一半
进入样本外,画面明显变化。1,005 篇可延伸检验的论文中,只有 42% 的关键结果在后续年份仍保留原来的方向和统计显著性。由于样本外时间通常较短,估计会更不精确;论文对此调整后,比例升至 48%。这两个数字是不同口径,不能混为一谈。
幅度缩水更直观。样本内的典型系数比率是 93%,样本外降到45%。说白了,即使方向没有完全翻转,论文里那个看起来很有力的关系,到了后来数据中,典型强度也只剩原报告值的不到一半。
原始证据越强,延续性似乎越好。二手解读称,最弱四分之一的结果在精度调整后,约 31% 能保留方向和显著性,典型系数约剩三分之一;最强四分之一相应比例约为 72%,系数比率中位数为 0.62。不过,供稿在这一部分截断,也没有完整方法信息,因此这些分组数字应谨慎看待。
断点出现在样本结束,而非论文发表
更耐人寻味的是衰减发生的时间。论文逐年重新估计结果后发现,系数幅度在原始样本期内相对稳定,到了样本结束附近明显下降,之后又相对平稳。原始样本结束时,估计系数比率约下降 0.28;论文最终发表时,没有出现清晰的额外下降。
作者据此认为,这种形状更符合“原样本选择”或“数据窥探”。后者指研究者尝试许多假设、变量或设定后,偶然找到一个看似显著的组合。就像连续抛很多次硬币,总能截出一小段特别像有规律的序列。新数据到来后,这种偶然优势往往消失。
这也与一种常见解释形成区别:投资者读到论文后照着交易,把获利空间挤掉。如果主要是这种发表后的学习效应,下降理应更明显地出现在论文公开附近。现在看到的断点却靠近原样本结束。不过,这只是作者对时间模式的解释,不能单凭一个断点确立因果关系。
AI改变的,是审计规模
过去,类似检查通常需要研究者逐篇手工完成。AI 的价值不在于替金融学自动宣判真假,而在于把同一套问题大规模地问下去:原结果能否重构?后来数据是否支持?衰减发生在什么时候?
这套区分也给投资实践一个朴素提醒。论文中的历史估计值适合作为起点,不适合直接当作长期常数。与其只问一个结果是否越过显著性门槛,不如继续看原始证据有多强、能否独立重构,以及是否经受过多个时期的数据检验。
局限与未知
- 样本只覆盖三本顶级金融期刊和 2000—2020 年发表的论文,不能代表整个金融学,更不能直接代表所有投资策略。
- 供稿未披露“关键结果”的完整定义、1,328 篇论文的筛选规则、LLM 流程中的人工审核程度,以及系数比率的加权和异常值处理方式。
- 样本外衰减还可能受到市场变化、数据修订、变量构造差异、模型设定错误和后续窗口较短等因素影响。数据窥探是一个解释,不是已经坐实的唯一原因。