你给一所学校换了新课程，今年考试成绩提高，不等于明年再做一次还会提高；也不等于一所条件相似的学校会有同样结果。甚至同一批学生换一种测量方式，结论也可能变化。问题不只是“干预对谁有效”，还包括“什么时候有效、重复实施时是否仍然有效”。
这正是 Bynum、Perrett、Scott 和 Hill 这篇论文重新审视的问题。作者认为，因果推断常把效果差异主要理解为“因人而异”，却较少明确区分时间、重复研究、结果本身的随机性和测量误差。于是，一个看似简单的“有效”，可能混合了几种不同的问题。
以下结论均来自这篇 arXiv 论文。作者把它称为初步探索；目前没有材料显示已有同行评议版本、外部复现或其他团队的独立印证。
先问清楚：你到底想估什么？
因果推断通常从“潜在结果”出发：对同一个对象，比较它接受干预和不接受干预时本会出现的两个结果。比如，同一所学校采用新课程后的考试表现，减去它继续使用旧课程时的表现。
现实里，两条路只能走一条。学校不能在同一时刻既采用新课程，又不采用。因此，研究者必须依靠随机试验、统计模型和相应假设，估计没有看到的那一个结果。
这里最重要的词是 estimand（目标量）：研究真正想估的量。它可能是“这批学校在这次试验中的平均效果”，也可能是“这些学校反复实施课程时的长期平均效果”，还可能是“具有相同可观测条件的一类学校通常会得到什么效果”。它们听起来接近，回答的其实不是同一个问题。
常见的 ITE（Individual Treatment Effect，个体处理效应），指同一个体在处理与不处理两种状态下的结果之差。论文提醒，ITE 未必是刻在个人身上的固定属性。同一对象的效果还可能随研究发生的时间、重复实施的具体条件、结果的内在随机性和测量方式而变化。
“同一个人”还不够具体
作者把结果的变化拆成几个轴：不同对象之间的差异；同一对象在不同轮研究或不同时点的差异；同一轮研究中，结果本身可能存在的随机性；以及观察结果时产生的测量误差。
以论文里的学校课程试验为例。一所学校的基本条件可能长期稳定，但校外补习情况会随年份变化。即使课程和学校条件相同，学生表现也未必每次完全一致。阅卷或答题卡识别还可能带来测量误差。这些变化在一份只有每校一个结果的数据里，常常都挤在同一个“噪声”项中，但它们对研究问题的含义并不相同。
论文据此区分了几类目标量。一次特定研究、一次特定结果对应一个具体 ITE；RV-ITE（Random Variable ITE，随机变量个体处理效应）把不同研究和不同结果实现下的 ITE 看成一个分布；I-ATE（Individual Average Treatment Effect，个体平均处理效应）则进一步对这些重复情境取平均。
样本层面也一样。SATE（Sample Average Treatment Effect，样本平均处理效应）关心这批对象在这一次研究中的平均效果；作者提出的 A-SATE 关心同一批对象跨越所有可能研究和结果实现后的平均效果。
CATE（Conditional Average Treatment Effect，条件平均处理效应）回答的又是另一件事：具有相同已观察特征的一类对象，平均会有什么效果。它未必等于这一个具体对象或这一个具体样本的平均效果，因为对象还可能带有模型没有观察到的特征。
说白了，“这所学校”“与这所学校看起来相似的学校”和“这所学校在未来反复实施课程”，是三个不同的对象集合。把它们都简称为“对这所学校的效果”，很容易答非所问。
方向都可能反过来
论文用纽约市公立高中数据构造了一个案例，考察学校层面的干预如何影响参加大学入学考试的学生比例。研究把学校规模、是否提供 IB 和 AP 课程、辅导员与学生比例作为可观察特征；把学校所在社区的贫困程度设为未观察但相对稳定的特征，并让免费或减价午餐比例、地区家庭收入中位数随研究变化。处理由模拟的随机分配产生，因此这些未观察变量在作者设定中不是混杂因素——也就是不会同时影响“谁接受处理”和结果、从而破坏随机比较。
在一个包含 100 所学校的模拟随机试验样本里，I-CATE 与 I-ATE 对 16 所学校给出了相反的效果方向。多数这类学校按 I-CATE 看似会受损，但把社区贫困程度所代表的个体差异纳入后，I-ATE 显示其实际会受益。
同一案例中，I-ATE 与一次具体研究里的 ITE 有 24% 出现方向分歧。作者把这里的差别归因于免费或减价午餐比例和地区收入等条件在不同研究之间的变化。
这种分歧也会出现在整个样本上。论文发现，对同一批学校而言，A-SATE 所代表的长期平均效果高于 S-CATE；换句话说，“这批具体学校反复实施的平均效果”，可能比“与它们具有相同已观察特征的一类学校的平均效果”更好。
这些数字来自论文在真实学校数据上拟合模型后构造的试验，不是直接观测到的政策效果。它们说明的是：在作者设定下，目标量的选择足以改变判断，不能外推为所有研究都会出现同样比例的反转。
为什么值得关注？
这篇工作的要点不是再增加一串缩写，而是提醒研究者：选目标量，本身就是在决定“对谁、在哪个时点、跨哪些重复情境取平均”。如果政策制定者要决定这批学校明年是否继续使用课程，S-CATE 未必直接回答这个问题；如果目标是向其他相似学校推广，只看这批学校的 A-SATE 也未必合适。
更棘手的是，论文专门选择了一个理想化场景：处理随机分配，没有未观察混杂，模型函数形式也正确。作者称，即使结构假设和参数假设在其设定下全部满足，忽略这些额外变化轴仍可能造成“estimand bias”——估计方法瞄准的量与研究真正关心的量不一致。
不确定性也会受影响。若研究者把跨时间变化、随机结果或测量误差统统当成一种普通噪声，给出的区间可能无法正确覆盖真正关心的目标量。作者通过模拟研究考察了不同假设对估计和区间覆盖的影响，并据此建议：当数据无法区分这些变化来源时，研究者可以报告一组合理目标量，而不是把单一估计包装成唯一答案。
论文把这类问题概括为对 unobserved non-confounders（不可观测非混杂因素）的假设。它们不破坏随机分配，却可能改变处理效果，并影响研究究竟应估什么。以往谈不可观测因素，人们常先想到混杂；这篇论文提醒，随机试验排除了混杂，并不等于所有未观察变化都可以忽略。
局限与未知
- 论文自称 preliminary investigation。材料没有提供同行评议或外部复现情况，其研究空白判断也主要来自作者。
- 真实数据案例仍包含模拟的随机处理和拟合后的数据生成过程，16% 与 24% 是该案例中的结果，不是普遍规律。
- 多种变化来源在单次试验中往往无法从数据里彼此区分。论文能提醒研究者公开假设、比较目标量，但不能仅凭一次观测自动判断哪一种目标量才是正确答案。