你每天都打开体检报告，看某个指标有没有“终于正常”。只要挑最好看的一天宣布成功，迟早可能等到一次偶然波动。A/B 测试也一样：实验原定跑 14 天，却每天查看结果，一显著就停，很容易把运气当成改版有效。
论文《Let Them Peek》讨论的正是这种常见的“边跑边看”。它的答案不是禁止查看，也不是允许随意提前收工，而是把查看时间和停止门槛预先写进试验设计。作者提出一套基于 Predictive Probability of Success（PPoS，预测最终成功概率）的组序贯设计，希望让明显成功或失败的实验早点结束，同时继续控制误报风险。以下方法与效果均来自这篇 arXiv 论文，尚无独立复现。
偷看的问题不在“看”，而在临时起意
A/B 测试会把用户随机分到旧方案 A 和新方案 B，再比较点击率、收入等结果。随机分组让两组除了方案之外大体可比，因此可以用来判断改版是否造成了差异。
常见平台采用固定期限检验：先约定样本量或结束日期，到终点只判断一次。它控制的假阳性率——方案其实无效、实验却宣布有效的概率——也是针对这一次判断而言。例如，5% 的假阳性率表示：在方案无效时重复许多同类实验，长期约有 5% 会被误判为成功。
如果团队每天都沿用终点的显著性门槛，并在数字刚好漂亮时停下，相当于反复给偶然波动提供中奖机会。论文指出，这种未经校正的连续监测会破坏固定期限检验原有的统计保证。
所以，标题里的“Let Them Peek”不能理解成“随便偷看”。论文允许的是有限次、预先安排的中期分析，每次采用专门设计的停止边界。
先问：照这样发展，终点会成功吗
论文采用组序贯设计（Group Sequential Design，GSD）：实验开始前就规定若干检查点，并为每次检查设置不同门槛。结果足够明确时，可以提前宣布成功；成功希望已经很小时，也可以提前认定无望；其余情况继续运行。关键是把多次判断作为一个整体设计，而不是中途看见好结果才临时改规则。
作者用 PPoS 来决定是否停止。它问的不是“今天有没有过线”，而是“根据当前数据，实验跑到原定终点时，成功的概率有多大”。直观地说，当前优势很大、剩余时间又不多，最终成功概率可能很高；当前结果不佳且翻盘希望很小，则可以提前停止无效实验。
论文的关键做法，是把 PPoS 的阈值转换成闭式的 lift boundaries。lift 是新方案相对旧方案带来的效果提升；boundary 则是每个检查点用于判断继续或停止的边界。“闭式”意味着边界可由明确的数学表达式得到，而不只是依赖反复数值试算。按照作者的设计，这些边界到预定终点会收敛到平台原有的标准检验。因此，平台不必放弃已经采用的最终判定规则。
这解决了一个实际阻力：团队可以在中途使用序贯边界，到第 14 天仍回到熟悉的终点规则。论文还称，这些边界能够达到 likelihood-ratio efficiency floor，即以似然比衡量证据时的一项效率下限；但现有材料没有展开其条件与推导。
每天的数据并不彼此独立
真实业务数据常有自相关：今天的变化与昨天相关，而不是每天都像重新掷一次互不影响的骰子。若把相关的数据点全部当成独立信息，系统可能高估证据量，过早作出决定。
论文为此加入 effective sample size correction，也就是“有效样本量修正”。名义上收集到的样本很多，不等于统计上拥有同样多份独立信息。作者提出利用历史 A/A 测试估计修正量。A/A 测试把用户分到两个实际上相同的方案，理论上不应出现真实效果，因此适合观察平台自身的随机波动和相关性。
这一步的意义在于，框架不是只在理想化的独立数据上决定何时停止，而是尝试让边界感知线上实验里的自相关。
省下的不是一天，而是实验通道
作者在在线 A/A 与 A/B 实验上报告：这套策略把预期实验时长从 14 天降到 7.97 天，缩短 43.1%，同时保留假阳性率和统计功效保证。统计功效是方案确实有效时，实验成功识别它的能力。
论文进一步称，有效平台容量因此提高 76%。这个数字并非另一项独立观测，而基本对应时长变化带来的吞吐量换算：同一条实验通道若更早释放，就能承接更多实验。按 计算，增幅约为 75.7%。
这也是序贯设计值得关注的地方。它不只追求更快宣布赢家。明显失败的实验同样可以早点退出，把用户流量和实验位置留给下一项尝试。对同时运行大量 A/B 测试的平台来说，节省的是稀缺的实验时间。
论文也把自己的位置说得很明确：always-valid inference——允许在任意时点查看、仍维持有效性的推断方法——面对严格截止期限时可能过于保守；组序贯设计则更贴合“有固定终点，也只在若干时点检查”的工作方式。不过，作者认为它此前尚未在大规模实验平台广泛采用，障碍包括保留终点规则、处理自相关、刻画潜在效应量分布，以及直接优化日历时长。这套框架试图同时处理这些问题。
局限与未知
- 43.1%、7.97 天和 76% 都只由该论文报告，适用范围取决于其采用的实验集合、检查频率、提前成功与失败规则、流量和效应量分布，不能直接推广到所有 A/B 测试。
- 现有材料没有给出实验数量、样本量、置信区间，也没有列出具体的假阳性率与统计功效数值。所谓“保留保证”的假设、目标水平以及证明或仿真口径，仍需结合论文细节核对。
- 这项工作的实际结论是：按预先规定的组序贯边界，可以进行有限次中期分析。它没有证明团队可以随意反复查看，再用普通固定期限检验挑一个有利时点停下。