你把一枚均匀硬币抛十次，偶尔也会得到八次正面。若只看这一轮，很容易给它编出一个故事。统计研究也会遇到同样的问题：样本里的醒目差异，究竟反映真实规律，还是随机波动？Andrew Gelman建议先在电脑里造出许多批“真相已知”的数据，再让分析流程接受排练。若它面对纯噪声也经常讲出动人的故事，真实数据中的一次显著结果就没那么可信了。
他用一个经典误判案例解释这套做法：所谓“漂亮父母生女孩的概率高出36%”。本文涉及的数字、判断和模拟结果均来自Gelman的单篇博客及其转述，未获得独立信源交叉验证。
一个数字怎样越传越大
研究数据来自 National Longitudinal Study of Adolescent to Adult Health 的 Wave III。完整样本有4877名受访者，其中2792人至少有一个亲生子女，并进入相关分析。完整样本的外貌评级分为五档：2%是“very unattractive”，5%是“unattractive”，45%是“about average”，37%是“attractive”，11%是“very attractive”。
原始分析把第五档“very attractive”单独拿出来，与前四档合并后的群体比较。两组的子女性别比例相差8个百分点，P值小于0.05。P值——在“其实没有效应”的前提下，得到当前结果或更极端结果的概率指标——低于常用门槛，于是结论看起来足以发表。
但“8个百分点”后来被包装成了“漂亮父母生女孩的概率高出36%”。据哥伦比亚大学 Statistical Modeling, Causal Inference, and Social Science 博客整理，论文把 logistic regression（用来估计某类结果发生可能性的回归模型）的优势比表述成“生男孩的可能性低26%”，媒体与 Freakonomics 博客又把它传播成了更抓眼球的36%。这几个数字采用不同的效应表达，不能互换。
Gelman提出的疑点不只在传播。女孩出生比例在不同亚群体中通常稳定在约48.5%至49%；8个百分点因此显得异常大。更关键的是，为什么恰好比较“第5档”与“第1至4档”？也可以比较“第4、5档”与前三档，或者直接把五档评分放进回归。按Gelman的分析，后一种做法得到的斜率并不具有统计显著性。
这就是 forking paths——“分岔路径”：研究者看到数据后，可以在多种分组、模型和比较方式之间选择。每个选择单看都说得过去，但若结果影响了路径，最终挑出的显著发现就不再只是一次预先确定的检验。Gelman认为，这足以解释原分析的显著性；不过材料没有给出完整计算，这里应把它视为作者判断，而非已经独立证实的定论。
先规定真相，再看方法会不会被骗
Gelman把争论换成了一个更朴素的问题：即使研究者不了解出生性别领域，也不精通统计理论，能否看出分析有问题？他的答案是假数据模拟（fake-data simulation）。
做法像给消防演练预先安排烟雾。研究者先规定世界的真相，再生成数据，然后把准备使用的分析完整跑一遍。因为真相早已知道，分析若拉响错误警报，就不能怪现实太复杂。
这次模拟采用零模型——假定所研究的效应不存在的模型。它规定每次出生为女孩的概率是0.488，而且与父母外貌无关；随后按照五档外貌比例，模拟2792次出生。这个过程可以反复执行，每一批都相当于一次假想的重复研究。
博客展示了20批模拟数据，并为每批画出拟合的最小二乘直线。Gelman报告说，即使模型明确规定外貌毫无作用，模拟数据仍会出现与真实样本一样醒目的图形。这说明，原始图形本身不足以反驳零模型。供稿没有列出每批模拟的具体数值，因此不能进一步声称其中有多少次越过了显著性门槛。
频率学派不是只守着一个门槛
频率学派统计（frequentist statistics）把概率理解为同一过程反复进行时的长期频率。P值、置信区间和错误率，都借助这种“假想重复实验”来解释。Gelman强调的现代实践，正是把假想重复变成电脑里的可见实验：眼前的数据只是许多可能结果中的一次抽取。
这比只问“P值是否小于0.05”多走了一步。统计显著性并不证明效应真实，也不说明效应足够大。抽样变异——总体规律不变时，由随机抽样造成的样本起伏——尤其容易让较小群体冒出极端比例。模拟把这种起伏摆到研究者眼前，让人看到同一套分析在别的样本里会怎样摇摆。
严格说，这里不是通常意义上的非参数 bootstrap。后者常从观测样本中反复重抽样，用于估计偏差或不确定性；Gelman这里先指定参数化的零模型，再从中生成新数据。称它为“假数据模拟”或“零模型模拟”更准确。
真正有价值的是整套排练
这套流程不只检查某一个结果。研究者必须明确数据怎样生成，把分析步骤自动化，再循环运行，并将推断与预先设定的真相比较。这样可以直接追问：方法多常误报不存在的效应，多常漏掉真实效应，又会不会把很小的效应夸大。
额外工作本身也有价值。你必须提前说清哪些变量存在、样本怎样形成、比较方式如何决定。这与预注册有相似之处：预注册是在看结果前写下研究计划，减少事后选择空间。模拟则进一步让计划先跑几轮，暴露那些研究者起初没有想到的脆弱环节。
Gelman的建议很直接：原作者若在分析前后模拟1000次同类调查，可能更早察觉问题。重点不是用模拟取代专业知识，而是给分析流程做一次压力测试。面对一个漂亮的显著结果，最有用的问题往往不是“它过线了吗”，而是“在一个没有效应的世界里，我这套方法也会不会得到它”。
局限与未知
- 全部材料集中于Gelman的一篇博客；其中既有原论文结果，也有作者评论和媒体传播经过，证据不能算作多个独立来源。
- 博客称20批零模型数据出现了同样醒目的模式，但供稿没有逐批结果，无法计算误报频率，也不能据此定量证明原结论错误。
- 模拟的说服力取决于生成模型是否合理。这里检验的是女孩出生概率固定为0.488、且与外貌无关的特定零模型，并非对所有可能机制的穷尽。