你上线一个新功能，两周后活跃度涨了。现在要不要全面发布？真正关心的是几个月后的留存和业务健康，但产品团队等不起那么久。常见办法是找一个很快出现的信号，比如用一周活跃预测长期留存。问题是，这个信号未必接得住新功能的全部影响，过去学到的关系也未必适用于今天。
Will Hartog、Lihua Lei、Mandar Rahurkar、Navdeep Sahni 和 Yixin Tang 提出 Experiment Reservoir Surrogate（ERS）。它换了一个观察角度：不要先预测每位用户未来怎样，而是把大量做完的长期实验汇成一个“实验水库”，寻找短期走势与当前实验相近的旧实验，再直接预测当前实验的长期平均处理效应——也就是处理组相对对照组，让全体长期结果平均改变了多少。
这项工作目前只有一篇 arXiv 论文作为信源。作者在 DoorDash 的历史实验数据上展示了结果，但论文没有报告足以判断实际提升幅度的完整数字，以下结论仍需外部复现。
老办法为什么容易失灵？
论文把 surrogate index method（替代指标指数法）称为估计长期效果的“现代标准”。它先用历史数据学习短期指标和长期结果之间的关系，再把新实验里每位用户的短期数据代进去，推算长期结果，最后比较处理组与对照组。
这套办法依赖两个关键假设。
第一个是 surrogacy assumption（替代性假设）：一旦知道短期替代指标，是否接受处理就不再为长期结果提供额外信息。说白了，如果新功能还通过短期指标没有捕捉到的路径影响长期留存，估计就会偏。持续接受某项处理，便可能让短期窗口之后的效果继续变化。
第二个是 comparability assumption（可比性假设）：历史数据里“短期信号如何对应长期结果”的规律，可以搬到当前实验。产品、人群、时间或环境变了，旧规律就可能失效。
两项假设都要求一种稳定关系，只是稳定的范围不同：前者要求处理组和对照组之间稳定，后者要求历史数据和当前实验之间稳定。作者认为，在线实验里的指标和场景变化很大，这两个条件在实践中都可能被破坏。
不猜用户未来，直接找相似实验
ERS 的关键变化有三步。
第一，它把“实验”而不是“用户”当作学习单位。每项历史实验都留下两段信息：短期内每日的平均处理效应，以及后来观察到的长期平均处理效应。新实验只有前一段，ERS 要补出后一段。
第二，它直接学习“短期处理效应走势如何通向长期处理效应”，而不是分别预测处理组和对照组的长期结果再相减。这像是要判断两辆车最终会拉开多远：ERS 直接追踪两车之间的距离变化，而不是分别预测两辆车的位置，再用两个预测相减。论文的 DoorDash 数据显示，处理效应比对照组的结果水平稳定得多；短期处理效应与短期对照组均值的样本外典型相关系数为 0.244。作者据此认为，额外带上对照组水平未必划算。
第三，它不把整个历史水库一锅煮。ERS 先比较短期处理效应的时间序列，挑出走势接近的历史实验，再在这个局部范围内做回归预测。论文用一个检验观察“相近实验是否遵循更相似的关系”：在约 1000 个指标上，约 77% 的检验得到低于 0.05 的 p 值。这个结果支持匹配思路，但它来自同一数据集，不能当作普遍规律。
这一步放松了可比性要求。ERS 不再要求水库里的每项实验都能代表当前实验，只要求附近的一批实验足够相似。它也不依赖用户级的替代性假设，因为预测目标从个人长期结果改成了实验层面的长期处理效应。不过，“不依赖 surrogacy assumption”不等于不需要假设：它仍要相信相似的短期处理效应附近，长期关系足够平滑，历史实验也来自可供学习的总体。
“水库”为什么既省事又必要？
ERS 只保存每个时间段的聚合处理效应，不需要保存每位用户的原始记录。论文称，用户级分析可能需要数小时或数天，而聚合分析可缩短到数秒或数分钟。这里描述的是计算量级，并非论文给出的统一基准测试；实际耗时仍取决于数据和系统。
聚合也有代价。一项实验压缩后只剩一个训练样本，因此水库必须足够大，才能支撑回归和匹配。力量不再来自单项实验中的海量用户，而来自许多历史实验之间的共同规律。
理论部分把误差拆成不可消除误差、偏差、近似误差和有限实验数量带来的可缩减误差。作者据此比较了几种方法：Aggregate Surrogate 把处理组和对照组的数据合在一起学习；Armwise Surrogate 分别预测两组；ERS-nm 直接预测处理效应但不做匹配；完整 ERS 同时使用处理效应回归和匹配。
论文的结论是，在列明的假设下，直接回归处理效应可以避开合并两组结果可能产生的偏差；局部匹配则能减少用一条全局直线描述复杂关系造成的近似误差。ERS 加入对照组短期均值的版本虽然使用更多信息，却让匹配维度翻倍。若长期处理效应主要由自身的短期走势决定，较少的变量反而带来更好的理论误差上界。
DoorDash 的检验说明了什么？
作者使用 DoorDash 的 196 项历史实验。每项实验包含一个或多个指标，每个指标形成一条处理效应时间序列；同一项实验里的多个指标高度相关，因此不能简单视为完全独立的实验。
评估按时间排列实验，逐步扩大历史水库，再用随后 50 项实验测试。模型采用短期窗口内连续 14 天的数据，并预测更远期的处理效应。ERS 按标准化后的短期处理效应走势计算欧氏距离——一种衡量两组数字相隔多远的方法——因此更看重曲线形状，而不是效应绝对大小。匹配数量通过留一交叉验证选择：每次暂时拿出一项历史实验，用其余实验模拟预测，再挑表现较好的设置。最终选中的邻居数量大致维持在水库指标数的 25%，并被限制在三分之一以内。
论文称，匹配版、无匹配版以及加入对照组信息的 ERS，相比 Armwise Surrogate 都获得了明显的精度收益，Aggregate Surrogate 也更差。但正文只用图展示“相对改善”，供稿没有给出各方法的 RMSE（均方根误差，即预测偏离真实值的典型幅度）、具体提升百分比、置信区间或统计显著性。因此，目前能说的是这组 DoorDash 数据支持 ERS 的方向，不能说优势已有确定大小，更不能说它已被普遍验证。
为什么值得关注？
这项工作的价值，不只是又造了一个预测器。它重新安排了产品实验里最稀缺的资源：时间。过去，团队常把希望押在某个快速指标能否代表长期结果；ERS 则把多年实验积累变成参照系，让许多已经等到长期结果的旧实验，一起帮助新实验提前做判断。
它也提醒团队，历史实验库不只是档案。只要实验定义、时间序列和长期结果能够一致地聚合，它就可能成为可复用的预测基础设施。匹配机制尤其现实：旧实验不必全部适用于今天，只需找到一群足够相像的先例。
局限与未知
- 证据只来自 DoorDash 的单一平台数据。其他业务、干预类型和长期指标能否复现，论文尚未回答。
- 论文没有披露足够的效果量、置信区间和显著性信息，也无法直接对比需要用户级数据的标准 surrogate index；“更高效”目前主要由理论分析和聚合方法之间的实证比较支撑。
- ERS 仍依赖历史水库足够大、相近实验确实可比等条件。作者也把长期效应预测区间、短期截止时间选择和高维匹配列为后续研究方向。