实验降方差，理论上能到多低

假设你在测试一个新版推荐页。新旧两组用户的平均点击率差得很小，但用户本身差异很大：有人每天都点，有人几乎从来不点。实验结果里的噪声，可能远大于产品改动带来的信号。

常见办法是拿历史点击、消费记录等处理前信息来帮忙。这叫协变量降方差：随机分组负责保证比较公平，协变量负责解释那些与改版无关的个人差异，让新旧方案的差别更容易看清。

Amir Najmi 和 Michael D. Keselman 的论文追问得更彻底：在这些信息已经给定的情况下，方差理论上最低能到哪里？复杂机器学习模型究竟还能换来多少精度？以下结论均来自这篇论文；论文没有报告具体实验数字，部分工程条件也未完全展开。

不是预测得准就够了

先把最简单的加法指标说清楚。所谓加法处理效应，就是处理组均值减去对照组均值，例如“新版让人均点击增加多少”。最朴素的估计，就是直接计算两组样本均值之差。

论文为每位用户引入一个由协变量 $X$ 算出的函数 $g (X)$ ，再比较两组的 $Y - g (X)$ 。直觉上，它先从结果里扣掉“仅凭处理前信息就能预料到的部分”。因为 $g$ 不受实验分组影响，随机化会让它在两组中的平均差异期望为零，所以这项调整不会改变目标处理效应，却可能减少波动。

关键问题变成：什么样的 $g$ 最好？设处理组占比为 $p$ ， $m_{1} (X)$ 和 $m_{0} (X)$ 分别表示在给定协变量后，处理状态和对照状态下结果的条件期望。论文给出的最优形式是：

$g^{*} (X) = (1 - p) m_{1} (X) + p m_{0} (X) .$

它看起来有点反直觉。处理组越小， $g^{*}$ 反而越重视处理状态下的结果预测。原因是，小组的均值更不稳定，实验总方差主要由它贡献。最优模型要优先压低最稀缺一侧的噪声，而不是机械地按两组样本量分配关注。

这也解释了为什么一个把两组完全混在一起训练的模型未必最有效，尤其当两组规模很不均衡时。不过论文也提醒，完全分开训练同样棘手：较小的一组可能没有足够数据。究竟应该共享多少信息，仍是实际建模中的取舍。

这里的最优不是一个适用于所有实验的固定数字。它更像效率边界——在既定假设和可用信息下，可靠估计方法能够达到的最低方差。

能降多少，取决于协变量究竟能解释多少结果波动。如果历史行为几乎能预测实验期表现，扣除可预测部分后，剩余噪声就可能很小。反过来，如果协变量与结果关系很弱，再复杂的模型也没有多少方差可降。

论文还给出一个很实用的判断：使用的 $g$ 偏离最优函数时，额外付出的方差与预测 $g^{*}$ 的均方误差（MSE——预测值与目标值之差平方的平均）成正比。换句话说，预测模型的改进可以直接对应到统计效率的改进，但这种收益会递减。

在处理组和对照组结果分布相近、处理效应较小的近似下，加法指标调整后剩余的方差比例，大致等于结果预测模型的 MSE 占原结果方差的比例。实验团队因此可以先用历史数据做预测，估算协变量还有多少解释力，再决定是否值得建设昂贵的特征和训练基础设施。

所以，“理论上能到多低”的诚实答案是：论文给出了边界的形式，却没有给出一个普遍百分比。下界由数据中无法被协变量预测的剩余波动决定。没有更有信息量的协变量，模型复杂度本身不能突破它。

论文允许使用结构和复杂度不受限制的预测模型，但有一个重要安排：交叉拟合（cross-fitting）。它把数据分成若干块，用其他块训练模型，再到当前块估计处理效应，随后轮换。

这相当于不让模型一边看答案，一边给同一份答案打分。它减少了同一批随机噪声既参与拟合、又参与效应估计所造成的偏差。论文称，这种思路类似 Double ML——一种通过样本拆分和残差化，让灵活机器学习模型服务于效应估计的方法。

对加法指标，论文证明上述选择可以实现非渐近的最小方差，也就是说，它不只在样本无限大时才成立。作者还建议，在数据量很大但处理效应较小时，可以只留出一部分数据训练模型，而不一定进行很多轮交叉拟合。

不过，“可以使用任意复杂模型”不等于复杂模型必然更好。论文建议模型适度向两组共享的关系收缩，尤其是在处理效应通常较小时。更大的模型需要更多训练数据，而精度收益又会逐渐变小。简单模型若已接近效率边界，继续增加特征、算力和维护链路，可能只带来很有限的实验加速。

很多线上指标不是简单均值差。点击率、每件商品平均价格等常由两个均值的比率构成；团队也可能关心相对提升，而不是绝对增加。

这类指标没有同样简单的方差公式。论文使用 Delta Method——先在当前均值附近把比率、乘积等复杂函数近似成线性函数，再把基础估计量的不确定性传递过去。作者据此选择调整函数，使这种一阶近似下的渐近方差最小。

一个值得注意的简化是：即使原始结果是多维向量，例如同时记录“接受推荐数”和“展示推荐数”，最终也可以把合适的组合压成一个标量预测目标。模型不必分别为每个分量搭建一整套调整系统。论文还把框架延伸到方差之比、随时间变化的实验趋势，以及含有不受处理影响的稳定分母的指标。

但措辞必须准确：对于乘法和比率指标，论文最小化的是 Delta Method 给出的一阶、渐近方差估计，不是已经证明在有限样本中最小化真实方差。作者也明确说，这套做法适合大型在线服务中的大样本实验；小样本场景只能视情况作为启发式方法。

这篇论文最有价值的地方，不是又提供一个更复杂的模型，而是给复杂度设了一把尺。

实验团队可以先问三个问题：现有协变量能解释多少结果波动？简单模型距离可达到的最低方差还有多远？进一步降低的那一点方差，是否值得新增特征、训练、监控和计算成本？

论文也把模型选择从“谁的预测分数最高”改写成“谁真正降低了处理效应估计的方差”。两者有关，却不完全相同。特别是实验组比例不均衡时，最值得预测的部分可能恰恰来自数据较少的一组。

这让效率边界成为一项工程决策工具：如果剩余空间很大，复杂模型可能有真实价值；如果简单调整已经接近边界，继续堆模型更可能增加负担，而不是显著加快结论形成。