你在测试一个新版购买按钮。上线几天后，新版暂时领先。团队每天都看数据，准备一旦“胜率够高”就宣布成功。有人说，既然用了贝叶斯方法，随时看、随时停都没问题。
这句话只说对了一小部分。贝叶斯方法确实能在每次获得新数据后更新判断，但“怎样更新证据”“什么时候停止实验”和“最终控制哪种错误”是三件不同的事。Schultzberg 与 Frånberg 的这篇综述把常见做法拆成三层。作者的核心提醒是：贝叶斯 A/B 测试不是一种方法，而是一组由先验和停止规则共同组成的方法。
A/B 测试，是把用户随机分到两个版本，再比较点击率、转化率等指标。贝叶斯推断则先用“先验”表达实验前对效果的判断，再用数据把它更新成“后验分布”。先验越强，小样本结果越容易被拉回实验前认为合理的范围。问题在于，得到一个逻辑自洽的后验，不等于获得了随时停止实验的错误率保证。
本文的分类、行业判断和模拟结果均来自这一篇论文，尚无独立信源交叉验证。因此，下文所说的优劣都应理解为作者在其模型与模拟设置下得到的结果。
第一层：算得通，不代表停得对
最低一层叫 posterior coherence，即“后验自洽”：给定先验、模型和已经看到的数据，后验能正确反映这套模型内部的信念更新。无论研究者按固定样本量停止，还是周末临时看一眼数据，已经得到的后验仍然有定义。
但这不自动控制假阳性。假阳性是新版其实没有效果，我们却宣布它有效。作者指出，许多商业实验系统默认处在这一层，不过论文没有给出完整的平台调查数据。
最典型的问题是 flat prior——近乎不加入实验前信息的平坦先验。此时，“后验认为新版胜出的概率超过某个门槛就停止”，可能只是把传统检验换了一套说法。论文证明，在其正态模型下，平坦先验的后验胜率与频率学派的 检验数值等价；若持续查看并在越线时停止，它也就等价于 naive peeking，也就是反复偷看普通检验结果。
模拟把这种差别写得很直白：naive peeking 的假阳性率为 0.303，平坦先验加后验概率停止也是 0.303，平均停止样本量同为 185。这里的“完全一致”并不是说所有现实实验都必然得到 30.3%，而是说明在作者给定的模拟条件下，两套程序实际上做了同一件事。
所以，“贝叶斯允许随时看结果”缺了关键后半句：你当然可以随时更新后验，但能否随时停而不增加错误，要看停止规则。
第二层：把“随时停”写进规则
第二层使用 Bayes factor stopping。Bayes factor——贝叶斯因子——比较数据在两个假设下有多说得通，例如“新版确有影响”相对于“没有影响”的证据强弱。实验持续积累数据，只有当贝叶斯因子越过预先设定的阈值时才停止。
这和“后验胜率到了 95% 就停”不是同一种程序。论文根据 Ville’s inequality 说明：只要备择假设采用 proper prior，也就是能够正常归一化的先验，贝叶斯因子在无效假设下具有特定的鞅性质。于是，即使每来一批数据就检查一次，越过阈值的概率仍有上界。换句话说，持续监测被纳入了规则本身，而不是实验进行到一半才临时决定。
作者的模拟中，两种 proper prior 配合贝叶斯因子停止，假阳性率分别为 0.019 和 0.016；同一设置里的 naive peeking 是 0.303。作者也强调，前两个数字低于名义阈值，部分原因是模拟使用双侧证据、最后再做方向性判断，不能直接外推到其他设计。
这一层还有一个有意思的连接。决策论通常从成本出发：错发一个有害版本要付出多少，错过一个好版本又损失多少。频率学派则常从假阳性率、假阴性率出发。论文认为，对于终局收益能写成后验的仿射函数的一大类成本模型，最优或近似最优的规则同样是贝叶斯因子阈值。两套语言看似在争论哲学，最后可能只是在用成本比例或错误率来设定同一道门槛。
但作者也划出边界。expected opportunity loss——预期机会损失——会计算选错版本可能造成的平均损失，它是后验的非线性函数，不属于上述类别。论文模拟中，这种规则的假阳性率约为 0.499。它并非“失效”，而是在控制另一种风险：只要发布一个实际无效版本几乎没有额外成本，它可能更重视尽快作出选择。若发布本身有成本，作者发现其 regret（长期决策后悔值）排名会反转。
第三层：不只判断输赢，还要校准整个实验项目
单次实验之外，公司往往同时测试许多功能和指标。这时要面对 false discovery rate，简称 FDR——所有宣布成功的结果中，实际无效结果所占的预期比例。它不同于单次检验的假阳性率。
论文把最高层定义为：贝叶斯因子停止再加 empirical Bayes prior。经验贝叶斯先验，是从同一实验项目过去的大批结果中估计“通常有多少实验无效、真实效果一般有多大”，再把这种历史分布用于新实验。作者认为，在其贝叶斯因子框架内，这是同时获得按指标校准的 FDR 与 calibrated shrinkage 的唯一途径。后者可理解为“有根据地往回拉”：噪声越大的夸张效果，估计值越会被拉向零，而拉多少由历史数据校准，不由分析者随手决定。
在作者比较的顺序检验中，校准良好的 oracle EB 配置取得最低均方误差 MSE，为 2.7；普通 Gaussian prior 的贝叶斯因子方案为 3.0，O’Brien–Fleming group-sequential test 为 5.9，always-valid confidence sequence 为 17.3。代价也很清楚：oracle EB 的检出力为 0.899，低于后两种 group-sequential 配置的 0.996 和 0.997。最低估计误差不等于各方面都最好。
而且，经验贝叶斯最怕“历史档案整理得太漂亮”。如果语料只保留获胜实验，模型会误判真实成功率；把性质不同的实验项目混在一起，会让某些项目纠正不足、另一些纠正过度；把难以变化和容易变化的指标放进同一个分布，也会错误收缩。论文称，校准大约在每个项目积累 100 个历史实验后趋于稳定，但许多指标来自同一个实验，不能替代足够多的独立实验。更重要的是，错误采样造成的偏差不会因为继续收集同类数据而自动消失。
真正该先问的是：你怕哪种错
这篇论文最值得关注的地方，不是宣布哪一派获胜，而是把三个常被混用的目标分开：错误率、估计准确度和 regret。它们对应不同问题。
如果团队最怕把无效版本当成有效版本，就需要能控制持续监测风险的停止规则。如果更在意整个实验项目中“成功结果”的可信比例，就需要有代表性的历史语料来校准经验贝叶斯先验。如果发布一个无效版本几乎没有成本，而迟迟不选版本才最昂贵，那么预期损失规则可能更贴近业务目标。
说白了，先写清楚要控制的损失，再选择先验和停止方式。不能先按下一个写着“Bayesian”的按钮，再假定所有保证都会随之出现。
局限与未知
- 三层框架、商业平台判断和模拟结论都来自作者自己的论文；“唯一途径”和“近乎最优”均有明确的模型范围，不宜当作普遍共识。
- 模拟结果依赖效应分布、成本函数、最大样本量和监测方式。文中的具体数值只能说明这些设置下的差异。
- 经验贝叶斯依赖历史语料的代表性。论文列出了失败模式，但现实项目如何识别并修复这些偏差，仍需要逐项目判断。