如果一家平台测试新版功能，实验组碰巧多分到几位超级卖家，结果就可能被他们巨大的交易额带跑。新版看起来有效，也许只是“重量级选手”站错了队。这篇论文研究的正是这种偏斜流量：多数用户贡献很少，少数用户贡献极多时，怎样分组才能让 A/B 测试更稳。
Abbas Zaidi 等人的核心主张是，别等实验结束后再靠统计模型补救，而应在随机分流前做 blocking——也就是分层随机：先按历史销量、订阅者数量等实验前特征，把规模相近的用户放进同一层，再在每层分别随机分到实验组和对照组。
论文同时给这个办法划出了边界。分层确实能减少重度用户偶然扎堆，但常用的粗粒度分层只能拿到有限的精度收益。更重要的价值，反而是守住实验真正想回答的问题，并把极端值的处理限制在合适的人群内。以下数字与结论均来自这篇论文及其模拟，尚无独立信源交叉验证。
分层为什么只能帮一点
把用户按历史规模分层，直觉上很合理。比如先把小卖家、中型卖家和超级卖家分开，再分别抽签，新旧方案两边就不容易出现量级悬殊。
但现实中的规模分布很不均匀。论文采用等人数分层：每层人数相近。问题是，分布越往尾部越稀疏，同一层覆盖的规模范围就越宽。最大的那些用户即使被放进同一个“顶部层”，彼此仍可能相差很远。分层保留了层与层之间的差异，却丢掉了层内差异。
论文把精度收益拆成两部分：实验前特征能解释多少结果波动，以及有限数量的分层能保留其中多少信息。在其设定的偏斜总体中，20 个分层只保留了该特征解释能力的大约十分之一。因此，即使这个特征本身很有预测力，粗分层也未必能充分利用。
作者计算得到，常见粒度下，blocking 大约减少 6% 的方差。论文认为，这与既有大规模实验报告的 5%—10% 标准误改善方向一致。不过，这不是“所有偏斜实验都能提升 5%—10%”的通用规律；它取决于偏斜程度、分层数量以及分层变量能否预测结果。
最快的估计，可能答错了问题
论文更值得注意的一点，是它区分了“估得准”和“估对了什么”。
A/B 测试通常关心平均处理效应，简称 ATE：如果目标人群全部使用新方案，与全部使用旧方案相比，平均结果相差多少。分层之后，要先算出每层的新旧差异，再把各层合并。合并时的权重决定了最终答案代表谁。
论文采用 fixed-weight blocking，也就是按各层在总体中的固定占比加权。作者证明，在其设定下，即使不同层的波动大小差很多，这种估计仍对总体 ATE 无偏。大用户层很吵，会损失精度，但不会因此被从目标问题里悄悄删掉。
一种看似更聪明的办法，是给波动小的层更高权重，给波动大的层更低权重。这叫 inverse-variance weighting——按方差的倒数加权。它能给出很小的标准误，却可能把最重要的重度用户几乎排除在外。
在论文的“效果集中于顶部两层”模拟中，分层估计的偏差为 0.0002，覆盖率为 0.96；覆盖率可以理解为重复实验时，置信区间包住真实答案的比例。逆方差加权的标准差缩到 0.001，但偏差达到 -0.0773，覆盖率降至 0。它分给顶部两层的总权重只有万分之一。数字看起来极稳，回答的却已经不是总体平均效果。
说白了，这里不存在简单的“少一点偏差，换更多精度”。如果业务问题明确要求总体 ATE，那么对另一个人群平均值估得再准，也不能替代它。
极端值不必一刀切
偏斜数据常用 Winsorization——缩尾——来降噪。它不删除极端值，而是把超过阈值的数压到阈值上。全局缩尾的问题是，同一把尺子同时处理普通用户和超级用户。若新方案的效果恰好集中在尾部，压低极端结果也会压掉真实效果。
分层提供了更细的操作范围。平台可以在每层内部设置阈值，让小用户与同类比较，把最难处理的长尾留在顶部层单独观察。它没有消灭长尾，但把问题集中到一个可识别、可报告的区域。
论文的尾部效果模拟很能说明差别。未缩尾的 blocked 估计标准差为 0.175，偏差为 0.0002，覆盖率为 0.96。全局缩尾把标准差降至 0.031，却产生 -0.0430 的偏差，覆盖率只剩 0.68。分层内缩尾的标准差为 0.060，偏差缩至 -0.0122，覆盖率恢复到 0.95。按作者的结果，它在明显降噪的同时，比全局缩尾更好地保留了尾部处理效应。
真正的收益不只是一点精度
这篇论文对工程实践的提醒很具体。面对少数超重度用户，分层随机的意义不只是把误差条缩短几个百分点。它还能提前防止实验组失衡，固定总体 ATE 的权重，并让缩尾等操作在相近用户之间进行。
分层画像本身也有价值。论文设置了一种不同层效果方向相反的情形：新方案帮助小规模用户，却伤害大规模用户。总体平均数可能掩盖这种差异，逐层结果则能把它显出来。对产品决策来说，“谁受益、谁受损”有时比一个总平均值更重要。
但层数也不能无限增加。随机分流可以做得很细，统计分析却需要每层、每个实验组都有足够样本来估计方差；论文指出，每个处理组至少要有两个单位，做到一对一匹配时，其方差公式便无法使用。层内回归调整也需要足够样本拟合关系。设计能切多细，和分析能可靠报告多细，并不是一回事。
局限与未知
- 所有主要效果都来自作者的理论分析与模拟。具体收益依赖偏斜程度、分层粒度，以及实验前特征能否同时预测结果和处理效应。
- 分层必须在随机化之前确定，只能使用当时已知的信息；实验后的分层或调整更灵活，但依赖额外统计假设。
- 论文的层内回归调整虽把标准差大致减半，覆盖率却只有约 0.89；而把分层实验当作完全随机实验分析，会保持点估计不变，却把标准误高估约 6%。这说明分流设计与分析方法必须配套。