你给一家餐厅换了新菜单，第二周客流上涨。功劳属于菜品，还是同期广告、媒体报道和季节变化？模型上线也有同样的难题：离线评测分数提高，真实用户的参与度随后上升，但两件事一起发生，不等于前者造成了后者。
John Tribbia 的这篇论文换了一个比较角度。它不把新旧版本直接对照，而是在同一模型版本里，比较“实际感受到的质量提升”不同的用户。这样有望绕开上线时共同发生的营销、舆论和季节因素。
先说明证据边界：论文只在作者构造的合成数据上验证方法，没有提供真实产品、真实用户或具体模型版本的实证结果。以下效果数字均来自这一篇论文，尚无独立信源交叉验证。
不比新旧版本，比同一版本里的不同体验
模型升级通常不是所有能力齐头并进。代码能力可能进步很多，写作能力只进步一点。于是，即使所有人都使用同一个版本，以编程为主的用户和以写作为主的用户，实际获得的质量提升也不同。
论文把这种差异称为用户的“质量暴露”。计算思路很直观：先看一名用户过去把多少使用量放在各类任务上，再用这些比例对新版各类能力的质量分数加权。一个主要写代码的人，会更多受到代码质量变化的影响。
关键一步是把任务比例冻结在升级之前。假如新版代码能力很好，用户上线后主动增加编程任务，那么实时使用比例既是质量的原因，也是质量造成的结果。再拿它解释参与度，就会把因果方向搅在一起。论文因此使用 pre-period——新版影响发生前的一段基准期——来确定每个人的任务权重。
接着，作者把质量暴露减去同版本用户的平均值，并加入“版本固定效应”。固定效应可以理解为给每次上线单独设一个总开关，吸收该版本所有用户共同经历的变化，例如营销、媒体关注和季节需求。模型最后利用的，是同一版本内部的相对差异。
这是一种异质性思路：同一次更新对不同任务和用户产生不均匀影响，而这种不均匀性提供了额外的比较机会。它试图回答的反事实是：如果两名基准情况相近、使用同一版本的用户，感受到的质量提升不同，他们后来的参与度是否也随之不同？
冻结旧习惯，代价是测量噪声
冻结权重解决了反向因果，却带来另一个问题。几周的历史使用只能近似代表长期偏好。有人平时经常编程，恰好在基准期少写了代码，他的质量暴露就会被测错。这类测量误差通常会把估计值往零压，也就是低估真实效应。
作者在包含 10 万名合成用户、26 周和三个模型版本的数据中预先注入已知因果效应，因此可以检查估计器能找回多少“标准答案”。主要估计使用分层抽取的 2,000 名用户，约 3 万条观测。
未经校正时，论文的方法恢复了真实效应的 81%—88%。其中，带用户聚类 bootstrap——按用户重复抽样，用来处理同一用户多周数据彼此相关——的估计恢复了 88%，区间为 0.788 至 0.955，而注入的真实值是 1。
作为对照，不控制模型版本的朴素方法只恢复 62.9%；使用上线后的实时任务比例，只恢复 61.6%。这两个比较分别说明：忽略版本层面的共同变化，以及让用户的新行为反过来进入解释变量，都会造成更明显的偏差。
历史窗口越长，任务偏好也测得越稳。基准期从三周延长至七周时，恢复率从 78.5%单调升至 86.7%；五周方案为 84.9%。这不是另一组“81%—88%”结果，而是专门考察基准期长度的敏感性测试。
校正后接近 100%，该怎么理解
论文进一步用 test-retest reliability ratio——重复测量同一偏好时，两次结果有多一致——估计任务权重的可靠性。其平均相关系数为 0.861。作者据此进行 errors-in-variables disattenuation，即按测量可靠性修正被压低的系数。
校正后的估计为 1.017，bootstrap 95%置信区间为 0.915 至 1.109。区间包含真实值 1，说明在这套合成数据和假设下，结果与完整恢复注入效应相容。它不意味着方法已经在现实产品中被证明无偏。
论文自己的多结果实验也提醒人们别机械套用校正。未校正的 session duration——单次使用持续时间——已经恢复了 98.9%的真实效应，统一校正后反而过头；对 churn risk——用户流失风险——这种非线性结果，简单的一阶校正同样可能过度调整。作者因此承认，不同结果类型需要与其统计结构匹配的误差处理。
此外，置换检验把用户的质量暴露随机打乱后，没有发现显著信号（论文报告 ）。这表明估计器在该合成设置中没有从随机噪声里硬找出效果。不同随机种子的测试总体稳定，但 500 用户样本下恢复率仍从 77.6%到 103.6%，并非每次都精确命中。
为什么值得关注
这项工作的价值不在于宣布“上线增长就是模型带来的”，而在于指出一种可能被忽略的对照：当所有人都已切到新版，旧版本不再可用时，同版本用户仍可能因为任务结构不同而获得不同程度的质量提升。
这也把离线评测和在线参与度接到了一条可检验的链条上。离线评测负责描述各类能力改变多少；历史使用记录描述每位用户更依赖哪些能力；同版本内的参与度差异再用于估计质量的作用。相比只看上线前后的总曲线，这个问题问得更窄，也更接近因果归因。
局限与未知
- 最大限制是只有合成验证。真实用户的任务偏好可能随时间变化，也可能存在未被记录的特征，同时影响任务选择和参与度。若软件工程师与写作者本来就有不同的使用趋势，同版本比较仍会混入偏差。
- 方法需要不同任务之间存在足够的质量差异，任务分类和质量评分也要可信。论文的合成数据让各类能力单调改善；现实中的能力升降更复杂，结论能否保持尚未验证。
- 可靠性比率 0.861及相关测量误差假设缺少外部验证。论文也未用真实部署证明校正方式适用于不同参与度指标。
所以，这篇论文给出的不是一次增长归因的判决，而是一套值得拿到真实产品里受审的估计思路。它最有用的提醒很朴素：新版上线后，别只问总参与度涨了多少；还要看同一版本里，真正获得更多质量提升的人，是否也出现了更大的行为变化。