一把有偏差的尺子,量一千次也不会自动变准。Andrew Gelman 借此提醒:不少社会科学研究的问题不只是样本量 N 太小,而是信号被噪声淹没——效应因人和情境而变,结果本身波动大,测量还可能出错。此时扩大样本,未必能回答原先的问题。
常见思路是:研究原本有 50% 的统计功效——真实效应存在时把它检出的概率——把样本翻倍,功效或许能升到 80%。但 Gelman 认为,许多高噪声研究的实际功效可能更接近“5% 加一点点”。要稳定检出效应,样本量可能大到不现实;即便凑够,研究也可能混入跨度很大的人群与条件,最后只得到一个精确的平均数,却说不清它适用于谁。
这篇短文的价值不在否定大样本,而在调整排查顺序:先问测量是否可靠、结果变量是否选对、效应是否随条件变化,再讨论增加 N。作者没有给出具体研究案例或系统数据,因此这更像一条研究设计警告,而非量化结论。