你同时测试几十个产品改版，预算却只够再收一批用户反馈。平均分配很省心，却可能把样本浪费在结论已经很明显的改版上；只追着当前最亮眼的结果，又可能错过暂时证据不足的真信号。预印本《Sample-Efficient Multiple Testing with Adaptive Data Collection》提出 e-PS：它边看证据，边决定下一份样本投向哪里，同时尝试管住批量实验中的误报。
这里的难点不只是“怎么省样本”。同时检验许多假设时，偶然出现的漂亮结果也会增多。错误发现率（false discovery rate，FDR）控制的，是所有被宣布为“发现”的结果中，错误发现所占比例的期望。更麻烦的是，实验者还会根据中途结果改变采样对象和停止时间。选择与数据互相影响，传统上为固定实验设计准备的检验程序可能不再适用。
一份证据，两种用途
论文的核心工具是 e-value——一种非负的证据量，数值越大，表示数据越不支持原假设。把它随样本累积起来，就得到 e-process；在满足有效性条件时，即使实验者边看结果边决定何时停止，它仍可提供相应的错误率保证。
每轮采样后，e-PS 用 e-BH 筛选发现。e-BH 是经典 Benjamini–Hochberg 多重检验在 e-value 上的版本：它同时查看一组 e-value，决定哪些假设可以被拒绝，并控制 FDR。
新意在于，e-value 不只负责最后裁决，也负责安排下一轮实验。e-PS 计算每个假设的 log e-value increment，也就是“新样本让对数证据增加了多少”，再用其经验均值表示证据的增长势头。随后，它为每个尚未拒绝的假设构造一个带不确定性的后验分布，各随机抽取一个合成分数，把下一份样本交给分数最高者。
可以把它理解成给多条调查线索排班。增长势头强的线索更可能继续获得资源；数据还少、判断尚不稳定的线索，也可能因抽样随机性被再次检查。前者是利用已有证据，后者是继续探索。相比每次只追逐当前最大 e-value 的 greedy sampling，这种随机化不容易一直围着最容易确认的结果打转。
论文还规定，只继续采样尚未被拒绝的假设。由此得到嵌套的拒绝集：一项发现一旦进入名单，之后不会被撤回。这让连续更新的实验看板更容易解释。
随时停下，错误率仍要管住
作者证明，在 log e-value increments 满足条件有效性等假设时，e-PS 可以在任意停止时刻控制 FDR。所谓“任意停止”，包括停止时间由已经看到的数据决定，而不只是预先写死收集多少样本。
论文进一步给出高概率样本复杂度上界，也就是以较高概率发现全部非零假设需要多少样本。这个界取决于底层 e-process 的两个性质：证据在备择假设下增长多快，以及这种增长能多快稳定下来。作者分别把分析具体化到三类问题：原假设与备择假设都完全指定；原假设包含多种分布、备择假设固定；以及原假设固定、备择假设包含多种分布。
在最简单的“固定分布对固定分布”情形中，方法使用似然比——两种分布对同一观测给出的相对支持度——构造 e-value。论文也给出对应的样本下界，用来描述任何能持续控制 FDR 的算法所面对的基本成本。备择分布未知时，方法改用观测数据不断更新一个 plug-in 估计；此时样本保证会依赖估计逼近理想证据的速度。
这并不等于论文证明了 e-PS 在所有任务中都最省样本。更准确地说，它在特定条件下，把“证据如何增长”与“需要多少样本”联系起来。
有限预算下，它把样本给了谁？
作者在四类模拟分布上比较了 e-PS、均匀采样和 greedy sampling，包括单变量与多变量 Gaussian、单变量与多变量 Student-t 分布。论文报告称，e-PS 在整个模拟时段内维持了目标 FDR；其真正阳性率（TPR，即真实信号中被发现的比例）在所有设置中高于均匀采样，并且通常高于 greedy sampling。材料没有保留图中的具体预算和提升数字，因此不能量化优势大小。
两个案例展示了这种资源调度的实际含义。笑话评分实验要从许多笑话中找出平均评分为负的对象。作者把每个笑话的一半评分用于确定实验标签，另一半作为序贯采样池，并报告 e-PS 在相同预算下发现了更多非零假设，同时经验 FDR 低于目标水平。不过，这里把用户—评分对视为相互独立，属于实验设定，而不是对真实用户行为的证明。
水印文本实验则把“读一个 token”当作一份采样成本。作者用 OPT-1.3B 生成五个独立数据池，每池含 1000 条文本流，其中 200 条带 Gumbel-max 水印，800 条不带；文本长度介于 200 到 1200 tokens。论文报告称，e-PS 明显优于均匀采样。greedy sampling 前期更快，因为它先解决最明显的流；随着实验继续，e-PS 的优势扩大，因为它会把资源转向仍未确认的非零假设。这也对应论文真正优化的目标：不是尽快摘下几个容易的发现，而是降低找全信号所需的样本成本。
为什么实验平台值得看
对 A/B 测试或模型评测平台来说，这项工作的价值在于把两个通常分开的环节接到了一起：统计程序负责判断哪些结果可信，调度程序负责决定接下来测谁。e-PS 让同一套证据同时服务于判断与调度，并给出随时停止场景下的 FDR 保证。
这也提醒平台设计者，实验预算并非只能事先平均切块。只要证据构造和采样规则一起设计，系统可以根据结果动态改派资源，同时保留明确的错误控制目标。
局限与未知
- 目前证据全部来自这篇 arXiv 预印本，模拟和两个案例的优势均为作者自报，尚无独立复现材料。
- 理论保证依赖 log e-value increments 的集中性质、底层 e-process 的质量和方差代理等调参。作者明确把重尾数据、模型设定错误及完全数据自适应的校准留作后续工作。
- “发现全部非零假设”的样本界不能直接理解为任何弱信号都能低成本找出。供稿中的公式信息不完整，也未给出可供本文准确转述的最低信号条件和具体界。