如果一家网站同时测试几十种推荐方案，它通常会把更多用户逐渐分给表现较好的方案。这样做能更快找到赢家，却也留下一个麻烦：表现会影响分流，分流又决定收集到多少数据。实验结束后，各方案的平均成绩已不能像固定比例实验那样直接比较。
Karun Adusumilli、Jiaying Gu 和 Junfan Tao 的这篇论文，研究怎样让一组相关的自适应实验彼此“借经验”。他们引入经验贝叶斯（Empirical Bayes，EB）——不提前指定一套固定先验，而是从多个实验的数据中估计总体规律，再用这套规律修正单个实验的结果。论文的核心发现是：两种常见的经验贝叶斯路线，在自适应数据面前并不一样可靠。估计先验分布的 g-modeling 仍可使用；直接从观测值分布推导后验均值的朴素 f-modeling，则可能产生偏差。
以下结论来自论文作者截至 2026 年 9 月 15 日的版本。论文给出了理论分析、模拟和一项真实数据应用，但材料没有披露模拟中的具体效果数字。
先别急着相信每个实验自己的平均数
自适应实验会根据已经看到的结果改变后续分流。一个方案开局不错，系统便可能给它更多流量；另一个方案早期落后，数据很快变少。最终样本量因此是“内生”的——它本身就是实验结果推动出来的，而不是事先固定。
问题在于，早期的随机波动也会影响这条路径。简单样本均值仍可随着数据增加而接近真值，但论文梳理的既有结论指出，它通常带有渐近偏差，也不再服从传统分析所期待的正态分布。若为了去偏而调整，又可能付出更高方差。
经验贝叶斯提供了另一条路。假设许多相关实验或实验臂的真实效果来自一个共同分布，就可以先从整体数据学习这个分布，再估计每一项。数据少、波动大的估计会被适度拉向整体水平，这叫收缩估计（shrinkage）。它有点像评价刚打了三场比赛的球员：不能只看眼前平均分，也要参考同类球员通常处在什么水平。
论文研究的是“复合自适应实验”：多个实验或多个实验臂共享一个未知的效果分布。其主要理论设定假定各臂结果服从均值未知、方差已知的正态分布。这里的“共同分布”十分关键。把同一类广告方案放在一起或许合理；把广告投放和药物发现混在一起，作者明确认为很可疑。
妙处在于：先验能从一批实验里学出来
经验贝叶斯有两条主要路线。
第一条是 g-modeling。它先提出一类可能的先验分布，再选择能让观测数据的边际似然最大的那个。边际似然可以理解为：把每个具体效果的不确定性都纳入后，这套总体分布对整批数据解释得有多好。候选先验既可以是带少量参数的分布，也可以不预设形状，使用非参数最大似然估计（NPMLE）。
第二条是 f-modeling。它不先估计先验，而是观察结果本身的经验分布，再借助 Tweedie formula 直接计算后验均值。Tweedie formula 是连接“观测值总体分布的形状”和“单项结果该如何收缩”的公式。
在固定抽样中，两条路都有清楚的依据。自适应抽样改变了局面：我们实际看到的观测值分布，也受停止规则和流量分配影响。论文指出，若直接把这个分布塞进 Tweedie formula，标准的朴素 f-modeling 可能得到有偏的规则。这不等于所有 f-modeling 都无效；问题针对的是忽略自适应过程、直接套用观测数据边际密度的做法。
g-modeling 却保住了有效性。更实用的一点是，分析者不必知道系统究竟采用了哪种自适应算法，也可以把每个实验臂单独处理。计算时甚至可以假装这些数据来自普通的外生抽样，照常使用标准 g-modeling 技术。
为什么“假装普通抽样”反而可行？
关键不是样本均值还保持着普通抽样下的分布。事实上，它可能已经不再是正态分布，甚至不再是概括全部信息的充分统计量。真正起作用的是似然原则：在论文的条件下，自适应过程带来的那部分因素不依赖待估计的真实效果。真实似然与假定外生抽样时使用的“工作似然”，只相差一个不含该效果参数的乘数。因此，给定同一个先验，两者产生相同的后验分布。
但经验贝叶斯还要从数据估计先验，仅说明后验不受算法影响还不够。作者进一步把 g-modeling 重新解释为“矩匹配”。这里的矩，可以粗略理解为分布的均值、方差等整体特征。g-modeling 找到的先验，会让先验的这些特征与各实验后验分布的平均特征对齐。
这背后是一条朴素的贝叶斯一致性约束：平均来看，更新后的后验应当回到更新前的先验。自适应停止不会破坏这条约束。于是，g-modeling 虽然表面上最大化了一个假定普通抽样的边际似然，实际却在利用一组仍然成立的矩条件寻找先验。对不限制先验形状的 NPMLE，论文把它表述为一种自洽性：估出的先验，等于以它自身为起点得到的平均后验。
基于这一视角，作者把外生抽样下的 regret guarantees 延伸到自适应生成的数据。regret 在这里指使用估计先验所得规则，相比知道真实先验的理想贝叶斯规则多付出的风险。论文证明 NPMLE 具有 regret consistency，也就是随着可借鉴的问题增多，这部分额外损失能够趋于消失；但其严格成立仍依赖论文给定的假设。
它为什么值得关注？
第一，它把“算法未知”从障碍变成了可绕开的部分。现实平台的分流和停止机制可能是专有系统，外部分析者未必拿得到。论文的方法不要求先还原算法，再修正估计。
第二，它适合多臂决策。多臂实验同时比较两个以上方案，臂越多，每个方案得到的数据越有限。论文允许把同一自适应设计里的各臂分别纳入经验贝叶斯分析，即使某一臂获得多少样本会受到其他臂数据影响。作者还引用了一个展示广告案例，其中算法需要在 5,910 个广告之间分配流量，用来说明这类高维场景为何需要共享信息。
第三，它不只给出抽象论证。作者使用多种自适应算法做了模拟，并把 g-modeling 应用于 ASOS Digital Experiments Dataset。该数据包含 ASOS 一个业务单元开展的 61 项自适应实验，具体生成算法属于专有信息、没有公开。论文在简化分析时排除了其中包含多个处理方案的 17 项实验。结果提示处理效应分布可能具有厚尾——极端效果出现得比常见的薄尾分布更多——但作者也提醒，实验数量较少，结论需要谨慎。
局限与未知
- 方法依赖实验之间具有可比性。若真实效果并非来自可信的共同分布，收缩可能把重要差异压得过头。论文对多个 A/B 测试还采用了额外简化，包括按已知比例抽样、只分析处理组与对照组的结果差，以及停止规则只依赖过去的效果差。
- 主要 regret 结果在高斯结果假设下推导。作者讨论了更一般参数模型中的近似思路，但不能据此把结论泛化到所有数据分布和所有自适应实验。
- 供稿没有给出模拟所用算法、评价指标和效果数字。ASOS 应用也只能说明方法在一个真实数据集上的可操作性，不能独立证明它在各种平台上都更准。