一次“赢了”的实验，为何越跑越不灵
你给常用的产品换了一个按钮。用户刚看到时，可能因为好奇多点几次，也可能因为困惑反复确认。实验面板随即亮起绿灯：点击率显著提升。但几周后，大家习惯了新按钮，提升消失。问题不一定出在统计计算，而可能出在一个更基础的假设：实验期测到的短期反应，未必就是全面上线后的稳定收益。
这正是 Andrea Bronzini 提出的失效模式。他称，自己在实验工具工作中反复看到“获胜”的 A/B 测试——把用户随机分到新旧方案、比较两组结果——上线后失去原有提升。统计学家 Andrew Gelman 认为，这是一个真实问题，并把它放进更大的框架：改动的效果可能随时间变化，也可能取决于用户此前经历过什么。
不过，现有供稿是一则观点讨论，不是提供发生率、效果幅度或观察周期的实证论文。下面的案例来自编辑部整理的公开材料，用来说明这种风险如何出现，不能据此推断所有 A/B 测试都会失效。
平均数把“刚见面”和“相处久了”混在一起
Bronzini 对一种典型设置的解释是：系统在用户首次接触新体验之后才完成分组，于是实验结果把两类东西揉在了一起。
第一类是新奇效应（novelty effect）：功能刚出现时，用户可能短暂地更积极，也可能更谨慎。第二类是稳定状态下的效果，也就是新鲜感过去后，改动究竟还能带来什么。如果实验窗口主要覆盖初次接触后的反应，一个短暂波动就可能被计入预期的上线收益。
Airbnb Engineering 记录过一个很直观的例子。Airbnb 把房源搜索页的最高价格筛选值从 300 美元提高到 1000 美元。实验第 7 天，预订率提升约 4%，p 值跌破常用的 0.05 门槛。p 值可以粗略理解为：在改动其实没有效果的前提下，出现当前或更极端差异的概率。若团队当时停下，结果很像一次“强而显著”的胜利。
但实验继续运行后，提升回落到接近零，p 值升至约 0.4。Airbnb 后来仍上线了更高的价格上限，理由却不是整体指标得到提升，而是要服务确实需要搜索高端房源的用户。这个决定提醒我们：实验数字会变化，产品价值也不只等于一个全局平均数。
时间不是噪声，而是结果的一部分
这里更关键的概念是“时变处理效应”：同一个改动的影响会随使用时间改变。它可能第一周提高点击，一个月后归零。若只报告整个实验期的平均效果，早期上涨和后期消退就会被压成一个看似稳定的数字。
Microsoft Research 记录的 MSN.com 实验更能说明这种误读。团队把通往 Outlook.com 的按钮改成直接打开桌面邮件应用，按钮点击量暴增 28%，全站导航点击也增加 4.7%；但留存和满意度没有改善，逐日数据还显示增幅迅速消退。研究者判断，老用户可能只是被熟悉按钮的新行为弄糊涂，于是反复点击，并尝试周边按钮确认页面是否出了问题。微软没有上线这个“赢家”，还因担心继续惹恼用户而提前关停实验。
换句话说，点击增加回答的是“用户做了更多动作”，却不自动等于“产品变得更好”。把结果按天展开，有时比盯着一个总平均数更接近真实体验。
还要问：用户此前经历了什么
Gelman 指出的范围比新奇效应更大。效果不仅可能随时间变化，还可能取决于完整的处理历史（treatment history）：用户何时首次接触、累计使用多久、此前见过什么版本，都可能与当前结果有关。两名用户今天都在使用新版，不代表他们处于同一个阶段。
常规的组间比较通常问：“现在使用新版的人，平均是否优于使用旧版的人？”动态视角还要追问：“他们从什么时候开始使用，此前走过怎样的路径，效果又如何随这条路径改变？”Gelman推测，更合适的方向是显式建模这些随时间和处理历史变化的差异。但他用了“I guess”，因此这应被看作方向判断，而不是已经得到验证的最佳方案；他提到的相关演讲《It’s About Time》也尚未成为论文。
一些团队采用了更直接的操作办法。据 ACM SIGKDD Explorations 与 Microsoft Research 整理，微软怀疑存在新奇效应时，会延长实验，并用最后一周估计较稳定的效果；Twitter 的类似实验可能运行四周，重点分析后两周。但“多跑几周”也不万能：早期用户若后来不再回来，直接把他们排除会让样本只剩更活跃的人。某些指标可以为离开的用户补零，比例和性能类指标却往往做不到。
为什么值得关注
这项讨论真正挑战的，不是 A/B 测试本身，而是产品团队常见的决策捷径：把一次短期显著提升，当成长期收益已经得到证明。
更稳妥的读法是把“赢了”拆成几个问题：提升是否集中在最初几天？用户熟悉改动后还剩多少？首次接触时间是否与分组对齐？不同使用历史的人，是否被一个平均数合并了？显著性可以说明观察到的差异不太像随机波动，却不能保证差异会持续，也不能替团队判断指标是否真的代表用户价值。
局限与未知
- 供稿没有说明这类上线后失效的发生率、典型幅度、观察周期或适用场景，不能把它写成普遍规律。
- “首次曝光后才分组会混合新奇反应与稳定效果”来自 Bronzini 的观点；Gelman认可总体问题，但没有独立验证这一具体机制。
- 新奇效应、一般性的时变处理效应和处理历史依赖彼此相关，却不是同一个原因；现有材料也没有给出可直接照搬的统一模型或判定标准。