你经营一项配送服务，想测试一条新策略。最直接的办法，是把商品随机分成两组，再比较两组的平均收益。可如果少数商品的收益特别高，或者新策略对不同商品影响不同，这个平均数就可能晃得很厉害。更麻烦的是：把处理效应估得最准的方法，未必最适合回答“要不要上线”。
Harsh Parikh 等人的论文把问题换了一个问法：不要替一场随机对照试验（RCT——随机把参与者分进处理组和对照组）临时挑“最好看”的估计器，而要利用一批相似试验，事先找出最适合某类任务的方法。作者在 Amazon 的 556 场供应链试验，以及 Strengthening Democracy Challenge 的 25 项干预中展示了这套框架。下文结果均来自这篇论文，尚无独立材料交叉验证。
均值差没错，只是可能不够稳
RCT 最常用的是均值差估计量：用处理组的平均结果减去对照组的平均结果。随机分组让两组在平均意义上可比，因此这种估计通常无偏。所谓无偏，是反复做很多次试验后，估计值的平均不会系统性偏离真值；它不等于每一次都很准。
单次结果仍可能有很大方差——也就是重复试验时上下波动明显。方差越小，置信区间通常越窄，实验平台也可能用更少样本、更快作出同等把握的判断。
常见改进是协变量调整：利用年龄、历史消费等处理前信息，解释一部分结果差异。若处理对不同人或商品的效果不同，还可以让模型描述这种“异质效应”。问题在于，可选方法从普通线性回归一路扩展到机器学习，并不存在对所有数据都最优的一个答案。
更不能在看完单场试验后，挑一个恰好支持预期结论的方法。这样容易把偶然波动当成方法优势，也会损害推断的可信度。
不替一场考试押题，而是研究整类考试
论文的关键转向，是把选择单位从“单场 RCT”提升到“相关 RCT 家族”。这些试验可以测试不同干预，但使用相近人群、相同结果指标，并共享某些因果机制。研究者先明确分析目标，再比较候选估计器在整个家族里的表现分布。
如果目标是准确估计处理效应，论文采用均方误差（MSE）：
其中 是估计效果， 是真实效果。MSE 同时惩罚系统偏差和随机波动，越小越好。
如果目标是决定是否上线，论文改看 regret，也就是“选错方案造成的机会成本”。当估计值越过某个门槛时上线；该上而没上，或不该上却上了，都会产生 regret。此时，误差大小不是唯一重点，误差有没有把决策推到门槛另一侧更重要。
真正困难的是，真实处理效应通常不可见。作者采用 sample splitting——把一场试验的数据拆成互不重叠的部分。一部分用简单、无偏的均值差充当参照，另一部分计算待评估的估计器；再轮换各部分，也就是 cross-fitting。它像把出题和判卷分开，避免同一批数据既帮方法拟合，又替方法证明自己优秀。
论文给出结论：在其假设下，基于 MSE 的交叉拟合比较统计量无偏；regret 版本存在偏差，但作者给出了偏差界，并在正则条件下得到渐近无偏。渐近保证指样本越来越多时，这套比较会趋近目标，而不是保证每个有限样本都准确。面对 regret 的不连续性、试验间差异和多方法比较，作者还采用置换检验：反复交换估计器标签，判断观察到的差距是否可能只是随机结果。
“最准”和“最会做决定”真的分开了
Amazon 案例包含 2016 至 2025 年间的 556 场供应链 RCT，结果指标是一项共同的财务指标。作者比较均值差（DM）、协变量调整的普通最小二乘（OLS）、分别拟合处理组与对照组的 Linear T-learner，以及加权最小二乘（WLS）。每种方法又搭配七种 winsorization 水平，共 28 个版本。Winsorization 是把极端观测压回指定边界，以减少重尾数据中少数异常大值的影响，但它也会引入偏差。
用于衡量 uplift、也就是效果大小时，MSE 最低的是采用 0.5% winsorization 的 Linear T-learner。低于这一截尾水平时，OLS 最优；截尾继续增强后，DM、OLS 和 Linear T-learner 的差距缩小。作者的解释是，极端值处理削弱了方差，也削弱了协变量调整的额外优势，但代价是偏差增加。
可一旦任务改成上线决策，排名就反过来：未经 winsorization 的 DM regret 最低；刚才 MSE 最优的 Linear-T_0.005 在这里并非最优。论文认为，DM 无偏且抽样分布较对称，虽然方差更高，却更贴合决策错误的成本结构。Linear-T_0 排第二，OLS 紧随其后。
Strengthening Democracy Challenge 也显示，答案会随结果指标而变。该数据在 2022 年 1 月招募了 32,059 名美国成年人，测试 25 项持续 2 至 8 分钟的干预。部分结果在约 10% winsorization 下由 OLS 取得最低 MSE；另一些结果主要受益于协变量调整，或由各方法共同受益于极端值处理。但按 regret 衡量时，各估计器差距大幅缩小，DM_0 在论文考察的所有结果上取得最低归一化 regret。
为什么值得实验平台认真看
这项工作的意义，不是宣布某个复杂模型取代均值差，而是要求平台先说清实验究竟服务什么。科学推断关心效果估得多准；运营决策关心错误上线或错过机会的代价。两者相关，却不是同一道题。
对积累了大量相似试验的平台，这也提供了一条现实路线：用历史试验形成领域内的选择规则，而不是每次从头争论。这样既能利用协变量和结果分布提高精度，也能减少“看完结果再挑方法”的空间。论文的案例还提醒我们，简单方法可能在决策目标下胜出；复杂度本身不是优势。
局限与未知
- 框架依赖较强假设，包括给定协变量后，试验之间共享同一套潜在因果机制，以及同一个体最多参加一场试验。若不同试验的机制本身发生变化，跨试验比较就未必成立。
- 当前分析聚焦横截面、类别型处理，尚未覆盖随时间变化的处理、因子设计、干扰效应和不依从等常见复杂情况。
- 置换推断在数千场试验和大量候选估计器下可能计算昂贵；而 MSE 与 regret 该如何取舍，论文目前也把它留给使用者决定。案例中的排名因此只能用于相应试验家族和目标，不能外推成所有 RCT 的通用榜单。