你上线一版新结账流程，平均延迟没变，但最慢的那批请求越来越慢。团队盯着第 95 百分位延迟，想一发现恶化就停掉实验。问题是：每天看一次结果、同一用户又会发出多次相似请求，普通统计区间很容易显得比实际更确定。
Diane Lu 和 Eric J. Oh 在预印本《CAQ: Clustered Asymptotically Anytime-Valid Quantile Treatment Effects for Online Experiments》中提出 CAQ。它把三件事放进同一套推断：分析分位数、允许连续查看结果，并处理用户内相关性。论文目前只有这一项独立信源，结论来自理论推导和模拟，尚无外部复现或同行评审材料。
平均值没说出的事
分位数描述一组结果在某个位置上的取值。中位数是第 50 百分位；第 95 百分位则把较慢的 5% 请求留在右侧。分位数处理效应比较新旧方案在同一分位点上的差异，例如两个版本的第 95 百分位延迟之差。它能看到分布中部或尾部的移动，但不能直接解释成某个“尾部用户”的个体效果。
在线实验还常有一个容易漏掉的层次差异：平台按用户分配版本，指标却来自每名用户产生的许多点击或请求。同一用户的事件往往彼此相似，不能当作许多名独立用户。否则，有效样本量会被夸大，置信区间会过窄，实际覆盖真值的概率也会低于标称水平。
另一重麻烦是“边跑边看”。如果团队不断用只适合预定终点的区间检查结果，并在第一次显著时停止，假阳性会累积。置信序列（confidence sequence）就是为连续监测准备的一串区间：数据不断到来，区间不断更新，并以较高概率在整个监测过程覆盖真值，因此可以在任意一次查看后决定是否停止。
CAQ 怎样同时管住三件事
CAQ 的出发点是尊重实验真正的独立单位。每名用户被视作一个“簇”，其内部可以有多个相关事件；只有完成固定观察窗口的用户才进入估计。运行中的样本量按用户数计算，而不是按事件条数计算。不同用户仍被当作独立到达。
在单个处理组内，作者先估计某个候选值以下的事件比例，也就是经验累积分布函数。关键是把每名用户贡献的事件数和落在候选值以下的事件数先汇总到用户层，再估计能够反映聚类的方差。作者用一阶展开把这个估计写成“独立用户贡献的平均值加上一个渐近可忽略的余项”，由此接上已有的渐近置信序列结果。
这时得到的还是“有多少事件低于某个值”的区间，而非延迟分位数本身。CAQ 再利用累积分布函数单调递增的性质，通过排序后的观测值把区间反向映射到分位数空间。事件稀疏的地方，相邻排序值距离大，区间自然更宽；事件密集处则更窄。这样无需另行估计分位点附近的数据密度。
比较两个处理组时，CAQ 分别取得两边在分位数空间里的宽度，并结合两组信息进行序贯检验。论文的理论论证并非简单地把两个区间粘起来，而是用逆概率加权——按已知流量分配概率校正每个到达用户的贡献——把两组写成共享用户计数下的一个估计量，再为分位数差建立渐近置信序列。
这里的限定词很重要：CAQ 是“渐近随时有效”，意思是样本增大后，它在所有查看时点同时接近具备时间一致覆盖保证的序列；这不等于有限样本下无条件、严格有效。
两种常见错误，在模拟里各自暴露
作者把 CAQ 与两类基线比较：一种是 Deng 等人的聚类稳健固定时域区间，但在模拟中被反复查看；另一种是 Howard–Ramdas 的序贯分位数区间，它允许连续查看，却忽略了用户内聚类。全部模拟采用 95% 标称覆盖水平，并覆盖正态与重尾的对数正态数据生成过程。
单组模拟统计的是“累计未覆盖率”：只要一条置信序列曾在某次查看时漏掉真值，整次运行就算失败。在正态数据中，用户内相关系数 ICC——衡量同一用户事件相似程度的指标——从 0 增至 0.9 时，CAQ 的累计未覆盖率从 2.6% 变为 3.2%。反复查看固定时域区间的基线则从 32.4% 升至 36.0%；忽略聚类的序贯基线从 0.0% 升至 44.8%。在 ICC 为 0.5 的重尾数据中，三者分别为 3.6%、37.6% 和 21.8%。
这个对照把两个问题分开了：固定时域方法的问题来自反复“偷看”；独立观测方法的问题随用户内相关性增强而放大。CAQ 的区间宽度会根据估计出的聚类稳健方差调整。作者报告称，它只在聚类较强时明显变宽；ICC 为 0 时甚至窄于 Howard–Ramdas。不过后者提供非渐近、与分布无关的保证，边界本来就更保守，两者的保证强度并不相同。
两组检验也呈现类似结果。在无真实差异时，CAQ 的假阳性率为 1.2%，另两种基线分别为 35.6% 和 34.2%。真实分位数差为 0.141 时，CAQ 的检出能力为 28.6%，基线约为 77%；但后两者的假阳性已经严重超标，表面的检出优势不能直接比较。当差异增至 0.283 时，CAQ 的检出能力达到 90.0%；差异为 0.424 时达到 100%。
为什么值得关注
这项工作的价值，不只是又做出一个统计区间。它补上了在线实验中常被拆开处理的三个要求：团队关心的可能是尾部而非均值；业务希望及时止损而非等到固定日期；数据的独立单位又是用户而非每条事件。
按照作者的模拟，CAQ 会根据实际依赖程度支付区间宽度的代价，而不是一律采用最坏情形。对持续监测延迟、交易时长等分位数指标的团队来说，这提供了一条更贴近真实数据结构的推断路径。
局限与未知
- “唯一同时维持覆盖率和假阳性率”只适用于作者选择的模拟设定和两类代表性基线，不能推广到所有数据分布、聚类结构或现有方法。
- 证据来自单篇 arXiv 预印本及其模拟，没有线上真实实验、外部复现或同行评审结果可供交叉核对。
- CAQ 依赖跨用户独立、用户完成固定观察窗口、分位点附近密度平滑且为正等假设；它给出的是渐近时间一致保证，不是任意有限样本下的严格保证。