你同时测试按钮文案和价格展示，每天都忍不住看结果。效果若小到不值得上线，当然想早点停；可反复查看又容易把偶然波动当成结论。更麻烦的是，即便实验没有提前结束，你还希望最后能准确估计每项改动的影响。现实中的实验平台常把流量怎么分、何时停、最终怎么估计拆成三件事。这篇论文要做的，正是把它们放回同一张设计图里。
论文提出 design-driven inference，可译作“设计驱动的推断”：不要先把流量随便分完，再让统计方法收拾残局；应当同时选择实验分配方案和证据规则。作者把分配看成“怎样收集证据”，把检验与估计看成“怎样使用同一批证据”。全文的最优性结论都来自这篇论文自身，且依赖明确的数学设定，不能直接推广到所有在线实验。
三件事为什么会互相牵制
第一件事是连续监控，也就是实验进行中反复查看结果并考虑停止。普通的一次性检验只为预定时点设计。若每看一次都照同一门槛判断，查看越频繁，偶然出现“显著结果”的机会就越多。
第二件事是尽早识别“不值得继续”。论文关心的不是证明效果精确等于零，而是判断处理效应是否落入预先规定的实际等效范围——小到业务上可以视为没有意义。这里的错误方向很重要：真正有意义的效果，不能因为一次波动而被误判为“可以停了”。
第三件事是最终估计。如果实验没有提前停止，团队仍要知道各项改动分别产生多大影响，才能做后续决策。一个只追求快速停止、却让最终估计变得含混的方案，并不完整。
多因子实验让问题更难。它会同时改变多个因素，例如价格展示与按钮文案，还可能估计二者的交互作用。与此同时，时间段、用户群或平台差异会形成 block effects，也就是区组效应；处理在不同区组中的表现还可能不同，形成处理与区组的交互。论文把这些都视为 nuisance parameters——并非研究目标、却会干扰判断的参数。如果分配不当，处理信号会和这些干扰纠缠。事后再精巧的检验，也未必能把它们拆开。
先把干扰从设计里拿掉
论文的关键动作是采用 block-orthogonal design，即区组正交设计。直观地说，它让不同处理方向与区组及其交互在数学上彼此垂直。像把几种声音分别录到互不串音的声道里：分析处理效应时，区组变化不会混入处理得分。
作者证明，在允许重新配对处理行与区组行、但保留二者各自组成的分配范围内，这类设计构成最坏情形证据增长的 complete class。这里的“完备类”不是说只有一种设计，而是说：在论文规定的比较范围内，总能找到一个区组正交方案，其最坏情形表现不比非正交方案差。
这一步不只是让参数可以被识别。论文还指出，即使处理与干扰没有完全重合，未经控制的分配仍可能损失一阶证据增长；正交化则把干扰从处理得分中隔离出来。换句话说，作者不是让统计检验事后猜测哪些变化来自区组，而是在分流时就避免混淆。
每个方向都分到同样的“照明”
消除干扰以后，还要决定信息怎样分给多个处理方向。论文选择 isotropic allocation，即各向同性分配：在固定信息预算下，各个方向得到均匀的信息，不留下特别薄弱的方向。
这很像用灯照一个物体。若光集中在某一侧，那一侧很清楚，背面却几乎不可见。各向同性分配追求的不是某个已知方向上的最佳表现，而是在真实效应方向未知时，让最差方向也尽可能好。论文据此证明，在固定信息预算、方向未知的备择假设和最坏情形准则下，各向同性分配与一个显式的 radial e-value 联合达到 minimax rate optimality——把最不利方向考虑进去后，证据增长率达到极小极大意义下的最优量级。
e-value 是一种非负证据量。在原假设成立时，它的期望不超过 1；因此可以把它理解成一笔针对原假设的“赌注”。每批数据产生一个 e-value，多批结果相乘，就形成 e-process，即随数据到达而更新的证据过程。只要每批都满足相应条件，研究者便可在批次之间持续查看，并在任意停止时刻维持误报控制。这正是 anytime-valid——任何时点查看都有效——所表达的含义。
论文使用径向证据规则，是因为它只关心处理效应向量离实际等效区域有多远，而不预先押注效应朝哪个方向出现。作者还给出了涉及非中心卡方密度与修正 Bessel 函数的闭式表达。不过对平台实现而言，更重要的不是公式外形，而是这条规则可以预先计算，并与分配方案一起部署。
检验和估计不必争同一份数据
传统设计常让检验与估计拉扯：适合区分两个假设的分配，不一定最适合精确估计参数。论文的核心主张是，只要把证据收集方式也纳入设计，这种冲突在其模型中可以消失。
同一个区组正交、各向同性的分配，不仅让安全检验的最坏情形证据增长达到论文所述的最优速率，也让处理效应的最大似然估计同时达到 A、D、E 三种经典最优性。简单说，A-optimality 关注平均估计误差，D-optimality 关注整体不确定区域的大小，E-optimality 盯住最差的估计方向。论文把同时服务检验与估计称为 double optimality。这个词听起来很强，但它指的是上述具体准则与约束下的双重最优，并非对任意实验目标都成立。
到了连续运行阶段，方法按批次重复同一套正交、各向同性设计，再把各批 e-value 相乘。论文认为，这种 batchwise replication——逐批复制——既生成可随时查看的 e-process，也保持累计条件最坏情形证据增长的最优速率。若实验按预先设定的完整计划跑到终点，各批信息相加，最终估计仍保留 A、D、E 意义下的通用最优性。作者进一步指出，在其最不利、方向未知的局部信息准则下，自适应重新分配也不能改进这一保证。
为什么值得关注
这项工作的价值不只是一条新检验公式，而是重新划分实验平台的职责。流量系统不再只是输送样本，统计模块也不再负责事后补救。分配、停止与估计围绕同一份证据共同设计。
这对多因子实验尤其重要。因素越多，区组和交互带来的混淆越容易积累。论文给出的思路是：先用组合设计制造正交性，再均匀分配各方向的信息，最后用适合连续监控的证据过程做决策。作者通过模拟和一个 large language model prompt experiment 展示了停止效率与估计精度的改善，但原文材料没有给出可在此复述的效应量、样本规模、基线或不确定性指标，因此不能把这些结果写成已经量化的普遍提升。
局限与未知
- 所有核心结论目前只由这篇论文提供。最优性依赖多因子线性模型、固定信息预算、方向未知的备择、最坏情形准则，以及预先设定的完整实验等条件。
- 论文要求构造区组正交且各向同性的分配。全文给出了正交数组和 Walsh–Hadamard 矩阵等构造，但不同构造对区组主效应、处理—区组交互能否分别识别有不同限制，不能把“处理效应估得好”等同于“所有 nuisance 参数都能单独估计”。
- 供稿中的作者字段疑似解析错位；正式刊发前应回查原始页面确认姓名与分隔方式。