你想评估一个分批开放的新功能。第一批用户上线后表现变好,于是你拿尚未上线的人来比较。看起来很自然,但这里藏着一个更早的问题:你设想的“没有上线”,究竟是这一次暂缓,之后仍可上线;还是从此一直不许上线?两句话只差几个字,需要的对照组却不同,甚至可能得出相差数倍的结论。
Ian Lundberg 与 Yaling Xu 的论文讨论的正是这类错配。研究对象是分期采用(staggered adoption)面板:许多单位在不同时间开始接受同一项不可逆干预,例如各州分批实施政策、不同人在人生不同阶段首次成为父母。研究者会持续观察这些单位,借助尚未接受干预者,推测已接受者“如果没有接受”会怎样。
论文的关键提醒很简单:先把“没有接受”说清楚,再决定谁能当对照。下文的方法、结论与模拟数字均来自这篇论文,尚无独立研究交叉验证。
“这次不上”和“一直不上”不是一回事
常见的差分中的差分(difference in differences,DID)会先比较处理组实施前后的变化,再减去对照组同期变化。如果没有干预时两组本应沿相似趋势变化,也就是满足“平行趋势”,这个差值才有因果含义。
在分期上线中,论文把问题拆成两个因果目标。
第一个是“瞬时阻止”:某单位原本在时间 上线,现在只阻止它在 上线,不干涉以后。比如一项监禁分流政策让某人在当下进入康复项目,而不是入狱;几年后,他仍可能因别的过程入狱。这里研究的是一次具体决策被改变后的结果。
第二个是“纵向禁令”:从 开始,一直到测量结果时,都不允许该单位上线。论文举的直观例子是吸烟:只阻止某人在一个年龄开始吸烟,与让他此后多年一直不吸烟,显然不是同一种干预。
如果结果就在采用当期测量,两种问题会重合。所有处理单位同时采用、之后也没有晚采用者时,两者也可能重合。但在典型的分期上线数据里,尤其观察期较长时,它们通常不同。
对照组为什么会越走越少
对“瞬时阻止”来说,对照资格在最初时点就确定了:只要单位当时尚未采用,就可以进入比较集合。它后来采用也不妨碍回答“当时没有采用会怎样”。因此,同一批对照可以用于不同观察期限,匹配、加权或 synthetic control(合成控制,即用多个未处理单位加权拼出一个反事实对象)可以使用不随时间变化的单位权重。
纵向禁令则要求对照单位一直保持未处理。测量一年后的结果,可以使用坚持一年未采用者;测量五年后的结果,只能使用坚持五年未采用者。时间越长,比较集合越小。
更麻烦的是,退出往往不是随机的。某单位可能因为近期结果变差而决定采用政策或产品。这样一来,继续留在“未采用”集合中的单位会越来越特殊。论文把它类比为长期调查中的失访:留下来的人不能自动代表原来所有人。
因此,纵向禁令需要随时间变化的比较集合,也通常需要“单位×时间”层面的权重。论文提出用纵向逆概率加权:根据每一期仍保持未处理的概率,提高少数持续未处理单位的代表性。一个单位在不同观察期限上的权重可以不同。相比之下,只给每个单位一个固定权重的方法,更直接对应瞬时阻止,而非持续禁令。
公式算对,也可能答错问题
论文用求职培训的模拟展示错配有多严重。设培训能提高就业,且失业者下一期更可能参加培训。接受培训者之后的就业率为 90%;若阻止培训,正确的反事实就业率为 75%,所以真实效果是增加 15 个百分点。
若研究者只拿“晚些参加培训的人”作对照,会看到他们当期就业率约为 25%。原因不是培训效果突然变大,而是失业者本来就更可能在下一期参加培训。这个对照组被研究结果本身筛选过,估计会夸大效果。
若研究者只选“始终没有参加的人”,又会看到约 85% 的就业率。持续不参加者本来就更可能处于就业状态,于是估出的增幅只有约 5 个百分点,仅为真实效果的三分之一。
正确做法是使用截至相应结果时点仍未采用的晚采用者与从未采用者,并随观察期限更新集合和权重。在论文的 1,000 次模拟中,瞬时加权与纵向加权分别恢复了各自对应的目标。不过,纵向估计的不确定性会随期限变宽,因为持续未处理的单位越来越少。
平行趋势也救不了目标错配
这项工作不只讨论“已测量变量足以解释谁会采用”的条件可忽略性,也讨论 DID 的平行趋势假设。在论文设定的条件成立时,两类因果问题都可以识别;但两者需要的调整方式不同。
对瞬时阻止,研究者在采用时点根据基线和当期的混杂因素加权,再比较采用者与当时未采用者。对纵向禁令,则要继续校正每一期选择性退出未处理状态的过程。论文强调,干预会改变后续变量,而这些变量又会影响以后是否采用及最终结果,这种“动态混杂”不会因为处理前趋势看起来平行就自动消失。
换句话说,DID、fixed effects(固定效应)、matching(匹配)和 synthetic control 都只是构造反事实的工具。工具本身不能替研究者决定反事实究竟是“晚一点上”还是“永远不上”。如果目标量与比较集合不匹配,计算可以完全正确,回答的却是另一个问题。
为什么值得关注
产品功能、公共政策和组织制度经常分批上线。实践中,人们容易先争论“用从未采用者,还是晚采用者”,再寻找理由支持选择。论文把顺序倒了过来:先定义现实中真正可能执行的干预,再由这个定义推出合格的对照集合。
这也给结果解读加了一道必要检查。看到“上线使指标提高多少”时,先问一句:这里的“不上线”是推迟一次,还是在整个观察期内持续禁止?没有这句话,所谓因果效应仍可能含义不明。
局限与未知
- 论文的识别结论依赖条件可忽略性或相应的平行趋势、正值性与一致性等假设,不能无条件推广到所有分期上线研究。
- “常见方法不能回答纵向禁令”是一项有适用边界的概括。更准确地说,固定比较集合和固定单位权重不能直接处理论文所定义的动态选择;具体判断仍取决于方法、目标量和假设。
- 模拟证明了错配在论文设定中可能造成巨大偏差,但它不是所有真实产品或政策都会出现同样偏差幅度的证据。