做问卷实验时,研究者常碰到一个现实问题:结果看起来已经够清楚了,还要不要继续收样本?联合分析实验尤其难判断——它让受试者反复选择由价格、品牌等多个属性组合成的方案,一次就要估计许多属性效应。若用普通方法反复查看结果,偶然波动更容易被误认成发现;检验的效应越多,至少出现一个假阳性的风险也越高。
Daniel Molitor、Jennah Gosciak 和 Michael Lindon 提出一套随时有效推断框架:研究者可以边收数据边监测,并按显著性或估计精度决定何时停止,同时维持统计误报控制。其核心工具包括置信序列——在每个样本量节点都要保持覆盖保证的动态区间;方法还适用于可写成总体 OLS 回归系数线性组合的一类目标量。
作者在模拟和一项大型寻求庇护者联合分析中报告,相比预先固定样本量的设计,提前停止的概率经常超过 50%,平均节省样本往往超过 25%。这些效果来自论文作者的分析;方法提供的是渐近保证,即样本足够大时成立,并非任何规模下都精确有效。