Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.047 — 2026-08-20
PAPER H 3 约 7 分钟

随机实验的最优解,究竟有多优

把分组方式和估计方法一起优化,常用随机实验在小样本下离理论最优有多远?

你要测试一个新页面,于是把 20 名用户随机分成两组:一组看新版,一组看旧版,再比较购买率。通常大家关心的是“怎么分组才公平”,或者“最后怎么算差异”。这篇论文把两个问题绑在一起问:如果分组方式和计算方法都不设限,最坏情况下还能把误差压到多低?更重要的是,我们熟悉的方案离这个理论下限究竟还有多远。

这是一篇 arXiv 预印本,所有实质性结论都来自 Timothy Sudijono、Edgar Dobriban 和 Eric Tchetgen Tchetgen 的论文《Sharp Minimax Theory for Randomized Experiments》,目前没有第二个独立信源交叉验证。

“最优”到底指什么?

论文研究的是有限总体随机实验。有限总体,指结论只针对参加实验的这批具体对象,而不是假想中的无限人群。目标是估计样本平均处理效应(SATE):对这批人来说,接受处理与不接受处理的结果之差,平均是多少。

难点在于,每个人都有两个潜在结果——用了新版会不会购买,以及没用新版会不会购买——但现实中只能看到其中一个。随机实验用随机方式决定谁接受处理、谁进入对照组,再靠估计器从已观察结果推断看不见的那一半。

作者采用极小极大(minimax)标准:先设想所有允许情形里最不利的一种,再寻找能让这项最坏误差尽可能小的方案。这里的误差用均方误差衡量,也就是估计值与真实处理效应之差的平方,再对随机分组产生的可能结果取平均。因此,“最优”不是任何场景下都最准,而是在明确的最坏情形标准下最稳。

过去的研究往往固定其中一边:选定常用估计器,再优化怎么分组;或者固定实验设计,再寻找更好的估计器。这篇工作的关键,是把“设计”和“估计器”合称一个程序,并在两者都不受形式限制的情况下共同优化。

把一个大问题缩成两个未知数

论文先处理二元潜在结果,也就是每个人的结果只有 0 或 1,例如“购买或不购买”“康复或未康复”。原问题看起来很庞大:每个人都有两项潜在结果,还要遍历所有随机分组规则和所有可能的估计方法。

作者找到了一步化简:把原来的极小极大风险,等价转换为一个只有两个未知参数的估计问题。直观地说,不再逐一追踪每个人完整的潜在结果,而是统计个体处理效应为正、为负等类别各有多少人。经过对称性处理,估计器只需根据这些计数所生成的观测作判断。

这一步既提供证明入口,也让计算变得可行。论文称,原问题直接求解在计算上难以承受;化简后,对几百以内的中等样本量,可以用凸优化精确计算极小极大风险、最优估计器和最不利先验。最不利先验可以理解为:专门把概率放在那些最难估计的情形上的假想分布,用来检验一个方法最坏能有多差。

最优组合有点反直觉

达到理论下限的设计并不复杂:平衡的 Bernoulli randomization,也就是每个人独立地以相同概率进入处理组。真正不同的是分析数据的方法。作者使用 nonlinear shrinkage estimator——非线性收缩估计器,它会把原本无偏的估计值按数据情况向零拉近,而且拉近幅度不是固定比例。

这类似于面对嘈杂的小样本时,不急着把观察到的差异全部当真。收缩会引入偏差,却可能降低更大的随机波动。论文证明,在其设定下,这个非线性规则与 Bernoulli 随机化的组合可以达到极小极大风险,并且是 admissible 的。Admissible,即“可容许”,表示不存在另一个程序能在所有潜在结果配置下都不差、并至少在一处严格更好。

作者还把理论下限推进到二阶:

ρn*=n1Cn4/3+on(n4/3).

这里,n1 是主导误差;n4/3 是更细的修正项;C 是一个与 Airy function(Airy 函数,一类由特定二阶微分方程产生的特殊函数)有关的显式常数。Airy 函数并非装饰:作者把二阶优化转为一个变分问题,再联系到微分算子的最小特征值,由此得到该常数和非线性收缩规则的形状。

常用方案差在第二层,但小样本未必差得小

常见做法是 complete randomization(完全随机化):预先固定处理组人数,再从所有人中随机抽取;分析时使用 difference in means,即直接比较处理组与对照组的平均结果。

论文发现,这套组合只在一阶意义上达到极小极大最优。换句话说,当样本量趋于很大时,它抓住了 n1 这一主导项,却没有拿到二阶改进。Bernoulli 随机化搭配普通均值差也有类似问题。

“一阶相同”不等于有限样本中几乎一样。论文给出的数值比较显示,在 n=20 时,完全随机化加均值差的最大风险约比理论最优高 40%。不过,这只是最坏情形下的风险差距,不能直接解释成实际实验的误差会普遍下降 40%。

可容许性也让结论更克制。完全随机化加均值差虽然不是尖锐的极小极大最优,却仍然可容许;它还支配 Bernoulli 随机化搭配普通均值差或 Horvitz–Thompson 估计器。另一方面,最优收缩方案与完全随机化加均值差互不支配:谁都不能保证在每一种潜在结果配置下胜过对方。

论文的数值分析还显示,如何衡量“常见情形”会改变判断。若对所有二元潜在结果配置均匀加权,样本量增加后,最优收缩方案几乎处处风险更小;若让不同计数组合获得相同权重,完全随机化加均值差看起来更占优势。收缩方案尤其适合真实处理效应较小时,而效应变大后竞争力会下降。

为什么值得关注

这项工作的价值首先是一把更精确的尺子。它不只告诉我们常用方法在收敛速度上正确,还给出此前被一阶结果遮住的差距:理论最优值具体低在哪里,差距以什么速度消失,以及怎样的设计与估计器能够达到它。

它也修正了一个容易混淆的判断。完全随机化加均值差并没有因此变成“错误方法”。论文反而证明它可容许、无偏,并拥有成熟的推断理论。新方法提供的是更低的最坏风险,代价则是非线性估计和尚未完善的推断工具。作者因此把它定位为值得继续研究的理论最优程序,而不是立即替换现行实践的标准答案。

局限与未知

  • 40% 的差距来自 n=20 时的最坏风险比较,论文没有提供真实实验中的平均收益,不能据此宣称实际效果显著。
  • 精确规则适合多大的样本范围仍是实践问题。作者只提出中等样本量可能值得考虑,并指出置信区间、随机化检验和基线协变量的纳入仍待研究。
  • 核心结果建立在无干扰及有界潜在结果等设定上。论文虽把风险刻画扩展到离散或连续的有界结果,但不能据此泛化到所有随机实验;若结果无界,其最坏风险为无穷。

供稿材料 SOURCES — 1

← 返回 2026-08-20 · 数据板块