一项新功能上线后，主动启用的人留存率提高了，功劳该算给功能吗？未必。愿意尝鲜的人本来就可能不同；也可能因为上期表现异常低才启用，随后即使什么都不做，也会自然回升。这就是“回归均值”——一次异常高低之后，数据往往回到通常水平。
据 Towards Data Science 介绍，Ryan OSullivan 用模拟比较两种常见设计。Difference-in-Differences（DiD，双重差分）比较启用者与未启用者在功能上线前后的变化之差，前提是没有功能时，两组本会保持相近趋势。滞后结果回归则用干预前的结果预测干预后的结果，前提是在控制过去表现等变量后，是否启用功能与原本会出现的未来结果无关。两套方法依赖不同假设，因此不存在适用于所有数据生成过程的统一赢家。
文章建议先检查处理前数据，看看哪套假设更贴近实际。例如，处理前趋势图能暴露明显不平行，却不能证明处理后的反事实趋势一定平行。说白了，这类检查能帮产品分析师少选错设计，但不能把自选择的观察数据变成随机试验。