如果一家外卖平台想测试新的派单策略，往往不能把同一时刻、同一区域里的订单随意分成两组。更现实的办法是：上午用旧策略，下午换新策略，之后再切回来。问题是，午晚高峰、天气和区域差异本来就会让订单表现起伏。不同时间段的订单量还可能相差几十倍。此时，即使模型把每一单都预测得很准，也未必能更清楚地判断新策略有没有用。
Sergei Pankratev 发布在 arXiv 的论文《Power-Optimal Covariate Adjustment for Switchback Experiments》，处理的正是这种错位：预测模型优化的是“单条记录准不准”，实验真正关心的却是“处理时段与对照时段能不能分得清”。论文提出一套面向统计功效优化的 CUPAC 方法，同时改造预测模型的训练目标和实验分析阶段的调整方式。这里的“最优”只在论文设定的模型、方差分解和假设下成立；目前证据也只来自这篇预印本及其 Monte Carlo 模拟，不能视为外部复现或生产验证。
订单很多，不等于有效样本很多
轮换实验（switchback experiment）让同一市场或区域按时段在处理与对照之间切换。随机化的基本单位不是一笔订单，而是“一个区域 × 一个时间窗口”。论文把这样的单位叫作 cell，本文称为“实验格”。
一个实验格里可能有上千笔订单，另一个却只有几十笔。这就是不等规模聚类。订单多的格会在总体指标里获得更大影响，但实验能够独立切换的，仍然只是有限数量的格。说白了，一万个来自同一时段的订单，并不等于一万个独立的实验机会。
论文把结果噪声拆成两层。第一层是格内噪声：同一地区、同一时段里，不同订单之间的偶然差异。第二层是格间噪声：不同时段或区域之间的整体起伏。轮换实验会在每个格里汇总许多订单，因此能平均掉不少格内噪声；格间波动却没那么容易消失。格的平均规模越大、规模差异越悬殊，后者对处理效应估计方差的影响就越突出。
统计功效，就是实验在确有真实效果时把它识别出来的能力。估计方差越大，结果越模糊，功效通常也越低。论文的核心判断是：这类实验真正需要优先压低的，往往不是数量庞大的格内小波动，而是数量较少、却更直接妨碍时段比较的格间波动。
“预测最准”为什么会选错方向
CUPAC——control using prediction as covariate——先用历史数据训练模型预测实验结果，再把预测值作为协变量加入效应估计。协变量是不受处理影响、但能解释结果变化的信息。它若能提前解释工作日与周末、区域或时段造成的变化，实验就不必把这些波动误当成策略效果。
标准 CUPAC 通常用单条记录的均方误差（MSE，也就是预测值与真实值之差的平方平均）训练模型。普通 A/B 测试中，随机化和分析都在用户层面进行，这个目标很自然。但在轮换实验里，单条订单数量远多于实验格数量。模型因而容易把大部分能力花在拟合订单之间的细小差别上。
可以把它想成一次考试：最终成绩主要取决于三道大题，训练系统却因为小题数量多，专门优化了几十道小题。总正确率可能更高，真正决定成绩的部分却没有明显改善。
论文因此不再把格内误差和格间误差等量看待。它从轮换实验的处理效应方差出发，为两类误差设置由实验设计决定的不同权重。格间误差的权重随平均格规模和格规模离散程度变化。这个权重来自实验本身，并非任意调出的超参数。目标也从“尽量预测每笔订单”转成“尽量减少最终处理效应估计中的方差”。
只改训练还不够
这项工作的关键不只是一种新损失函数。论文指出，同样的错位会在分析阶段再发生一次。
CUPAC需要决定从结果中扣除多少预测成分。标准做法使用单条记录层面的普通最小二乘回归（OLS，即寻找整体平方误差最小的回归关系）估计这个调整系数。它仍会让大量格内记录主导计算，从而低估格间预测关系的重要性。
论文给出的方案是让两步对齐：训练时按轮换实验的方差结构强调格间预测；分析时也用相同的层级权重估计调整系数。更进一步，可以分别为格内偏差和格均值估计系数。前一步让模型学到真正影响功效的信号，后一步负责把这种预测能力兑现成方差下降。
论文还证明，其训练目标是重新拟合分析系数后所得估计方差的一个上界。直观地说，训练阶段和分析阶段不会互相拆台。不过，若模型只是在数值尺度上放大格间预测，却没有提高预测值与格均值结果之间的相关性，重新估计系数会抵消这种缩放，也就不会凭空产生收益。方法真正有效的条件，是有限的模型容量或正则化迫使模型在格内与格间预测之间做取舍。
它在哪些场景更值得用
论文的 Monte Carlo 模拟——反复从设定的数据生成过程抽样、比较不同估计方法——专门构造了这种取舍：Ridge 回归在两个预测特征之间分配有限能力，一个更擅长格间信号，另一个更擅长格内信号。
结果方向与理论一致。在格内与格间方差较均衡时，对齐方法相对标准 CUPAC 只把标准误再降低约 5%。当单条记录的偶然噪声占比上升时，标准方法逐渐接近未经调整的基准，对齐方法的表现则大致保持稳定。单独改训练目标或单独改分析系数都有帮助，但在格内噪声占主导的模拟条件下，两者结合效果最好。
这也划出了方法的适用边界。如果模型容量充足，格内和格间信号都能学好，那么换训练目标未必带来额外功效。若特征中确有能预测时段或区域整体变化的信息，但它们在海量订单级特征面前被训练目标忽略，这套方法才更可能有价值。
为什么值得关注
这篇工作的意义不在于又做出一个“预测更准”的模型，而在于提醒实验团队：预测模型只是测量工具的一部分，不能脱离最终要估计的量来优化。
对外卖、出行等平台来说，轮换实验常同时面对时段波动、区域差异和实验格规模不均。论文把这些设计因素直接写进协变量训练与分析，让模型优先解释最妨碍处理效应比较的变化。它也给出一个实用诊断：先看模型是否在有限容量下牺牲了格间预测，再决定是否值得采用更复杂的对齐方案。
局限与未知
- 全部效果证据来自作者自己的理论推导和模拟研究。论文未提供真实生产实验验证，也尚不能据此断言该方法适用于所有轮换实验。
- 格间损失只由数量较少的实验格支撑。提高它的权重也会提高过拟合风险；论文建议使用按时间或集群划分的格级留出集，而不是随机拆分单条记录。
- 小实验格的均值容易混入较多格内抽样噪声，使格间目标产生偏差。论文讨论了按格大小加权或使用层级收缩估计等缓解办法，但供稿没有给出这些方案在实际系统中的比较结果。