同一个 p 值,放在小样本和大样本研究里,分量可能完全不同。p 值是假定“没有效应”时,出现当前这么极端或更极端数据的概率;它不是“没有效应为真”的概率。Aust、Pawel 和 Wagenmakers 重访了 1930 年代的 Jeffreys’s Approximate Bayes factor(JAB),尝试用 p 值和有效样本量,近似算出 Bayes factor——比较“有无效应”两种假设谁更能预测数据。
最值得留意的是样本量带来的反转:作者指出,传统上给 p 值贴的“强证据”等标签,只在特定样本规模附近才与贝叶斯证据大致对应;样本越大,同一个 p 值代表的反对零假设证据反而可能越弱。在中大型样本中,结果甚至可能转为中等或较强地支持“没有效应”。
作者在 704 个已发表的 t 检验和 39 个比例比较中称,JAB 与常用的客观贝叶斯因子近似得很好。不过这种换算并非从 p 值凭空提取答案:它依赖单位信息先验——把事前信息量大致设为一条观测所含的信息——以及有效样本量等条件。换句话说,JAB 更像一种便宜的补充读数,不能脱离先验假设单独使用。