你把一条常走的路换了路面，目标不是让人更快，只是降低维护成本。完工后，车程平均慢了一点，但测量次数很少、波动很大。此时能不能说“没有明显变化，所以可以开放”？这正是许多基础设施升级面对的问题：改动本来不追求业务增长，却不代表它没有下行风险。
论文《Neutral Is Not Free》讨论的就是这类“中性上线”（neutral launch）——代码迁移、依赖升级、可靠性工程或资源削减等理论上应让用户结果保持不变的改动。作者认为，实验平台常用的置信区间重叠规则会把“尚未发现损害”误当成“已经证明无害”。他们提出 Expected Bayesian Loss（EBL，期望贝叶斯损失），试图用一个连续数值同时表达：指标下降有多大可能，以及一旦下降，预计会有多严重。
本文的结论与数字均来自这篇论文。它提供了方法推导和一组历史实验，但样本较小，且没有第二个独立信源完成外部交叉验证。
“包含零”为什么不等于安全？
A/B 测试会把用户随机分组，一组使用旧方案，另一组使用新方案，再比较指标变化。由于参与实验的用户只是总体的一部分，测得的差异会带有随机波动。置信区间就是按一套重复抽样程序构造的不确定性范围。
中性上线常见的一条规则是：只要效果估计的置信区间包含零，就允许上线。零代表“没有变化”。这条规则看起来谨慎，实际回答的却不是团队真正关心的问题。两个区间是否重叠，不等于差异是否显著；一个区间包含零，也不能直接告诉你损害发生的概率和大小。
论文指出，这条规则还会出现一种反直觉现象。数据少时，置信区间很宽，因此更容易覆盖零，测试反而容易过关。数据多时，区间收窄，一个非常轻微的负向变化也可能被判为不能上线。换句话说，信息越少，规则有时越宽松；信息越多，它又可能过于严格。
这不是纯粹的统计洁癖。基础设施改动通常有明确的工程收益，例如减少资源消耗或改善可靠性。决策者真正需要权衡的是：这些收益是否值得承担预计的用户指标损失。一个简单的“通过或不通过”，没有给出足够的信息。
把“会不会坏”和“会坏多少”放在一起
EBL 换了一个提问方式。它不问“负向效果是否足够显著”，而问“如果现在上线，平均预计要承担多少下行损失”。
这里用到贝叶斯后验分布——把先前认识与实验数据结合后，对效果各种可能取值给出相对可信程度。基于这个分布，可以估计指标跌破风险线的概率，也可以估计跌破后会低多少。期望损失再把两者合到一起：较常见但很轻的下降，与很少见但很严重的下降，会得到不同的风险值。
这个区别尤其适合中性上线。假设两个实验显示指标下降的概率相同，但其中一个实验噪声更大、结果更不确定。只看“下降概率”，两者可能并列；EBL 还考虑潜在损失的幅度，因此会对高方差实验给出更高风险。论文称，这正好扭转了置信区间重叠规则在数据稀缺时容易放行的问题：测试越嘈杂，越难仅凭“无法确定有害”过关。
作者还给出了一个便于落地的做法。在中心极限定理近似和非信息性 Jeffreys prior（尽量少加入主观先验的先验设定）下，后验可以由现有的点估计、标准误和置信区间近似重建。论文据此推导出 EBL 的闭式解，也就是无需反复数值模拟便可直接计算的表达式。对已有实验平台来说，这意味着可以沿用频率学派的常规报表，不必先重建整套分析系统。
平台还可以设置两道线：风险较低时上线，居中时交给专家复核，超过严格阈值时阻止上线。阈值代表机构愿意为工程收益承受多少预期指标损失。它不再是一句模糊的“统计上没问题”，而是一项可以讨论和调整的风险预算。
17 个实验说明了什么？
论文用一组历史实验与专家委员会的既有决定作比较。样本包括 17 个已决定的实验：14 个获准上线，3 个被阻止；另有4个仍待决定。作者调整 EBL 阈值后，在样本内重现了这17项决定，并用留一法检验——每次拿出一个样本，再用其余样本评估规则。
但这组结果需要克制解读。该批实验的精度很接近，标准误只相差约1.95倍。在这样的数据里，EBL 与单看“指标下降概率”的规则分类表现相同。论文认为，两者的一致主要来自样本的方差范围较窄；只有遇到更高方差的实验，EBL 对噪声的额外惩罚才会真正拉开差别。
作者也比较了置信区间下界规则。论文称，它可以人为调到复现这批数据的阻止边界，却不能很好地划出与专家意见一致的“需要复核”区域。不过，供稿文本没有保留下相关准确率、阈值及部分公式中的具体数值，因此不能据此判断优势有多大。
为什么值得关注？
这项工作的价值，不在于给“中性上线”换一个更复杂的统计标签，而在于逼迫组织把风险说具体。传统规则主要判断证据是否越过某条线；EBL 则把可能损失放回原指标单位，让评审者能与迁移、降本或可靠性收益放在同一张决策桌上。
它也改变了小样本实验的激励。按照论文的设计，标准误越大，误阻止中性上线的概率越高。团队不能再靠一个宽得覆盖零的区间轻易过关，而需要收集更多数据、降低噪声，或者把风险提交复核。
对于多个指标，论文不建议把 EBL 随意相加。作者提出两种治理思路：对延迟、服务器错误率等不可妥协的健康指标，可以由最差的一项决定；若要加权汇总，则需先明确不同指标之间的换算权重。统计公式在这里没有替组织做价值判断，只是让价值判断变得可见。
局限与未知
- 经验验证规模有限。17个已决定实验中只有3个阻止案例，而且它们的精度相近，尚不足以直接证明 EBL 在真实高方差场景中优于下降概率规则。
- EBL关注分布的下行尾部，因此对后验分布设错更敏感，尤其需要警惕重尾数据。论文建议用平台历史实验校准先验，但更复杂的分层收缩方法仍被列为未来工作。
- 专家决定在研究中充当标签，却不等于客观真相。论文没有提供专家人数、判断一致性等信息；“复现专家决定”说明规则贴近这批既有决策，不能直接推导为普遍安全。