你有两个新闻标题，想知道哪个更吸引读者。常规做法是把真人随机分组，各看一个标题，再比较点击率。现在更省事的设想是：不找读者，直接问大语言模型（LLM）“典型用户会不会点”。几小时就能出结果，也不用分配真实流量。
问题在于，省掉真人，也省掉了A/B测试最重要的东西：随机分组带来的因果保证。Spotify Engineering的研究把这条边界说得很清楚。LLM可以充当真人结果的代理，但成立靠的是额外假设，不是实验设计本身。本文全部实证结论来自Spotify单一信源，且供稿正文末尾被截断，结果不宜外推到其他模型和场景。
模型猜得像，不等于实验成立
A/B测试把用户随机分到两个版本。这样两组除版本外大体可比，结果差异便能解释为版本造成的影响，也就是“处理效应”。
换成LLM后，研究者实际测到的是“版本对模型预测的影响”，而不是“版本对真人行为的影响”。即使生成无限多次预测，也只能把前者测得更准，不能自动变成后者。
Spotify团队借用了代理终点（surrogate endpoint）理论来分析这个问题。代理结果，就是用更快、更便宜的指标代替真正关心的结果。例如，用LLM预测的点击率代替真人点击率。临床试验有时会用实验室生物标志物代理临床结果，但这种类比只解释了思路，并不能证明LLM天然是合格代理。
两道门槛，缺一不可
团队提出了两个条件。
第一是“代理性”（surrogacy）：LLM预测必须完整捕捉处理影响真人反应的全部信息。把模型预测和处理前的基础特征考虑进去后，用户究竟被分到处理组还是对照组，不应再提供额外信息。说白了，模型不能漏掉任何会影响真人选择的关键部分。
第二是“可比性”（comparability）：LLM预测与真人行为之间的对应关系，必须从历史实验稳定延续到新实验。这里需要校准（calibration）——用既有真人实验数据修正模型与真人之间的系统差异。但校准只能说明历史范围内如何修正；遇到明显不同的新文案、新产品或新人群，这种关系可能改变。
两项条件都成立，才可能从LLM输出识别真人的平均处理效应。任何一项失败，估计都会偏，而且问题不是预测数量不够，而是测量对象已经变了。
原始预测只找回39%的效果
Spotify团队使用Upworthy Research Archive中的数千次新闻标题A/B测试。Spotify称它是目前最大的开放获取A/B测试数据集。数据包含不同标题版本的真人点击率；团队则让gpt-4o-mini分别预测处理组和对照组标题的“典型用户点击率”。
按照Spotify的结果，直接把模型原始预测当作真人数据，只恢复了真人观测处理效应的39%。偏差也不是无方向的随机噪声：模型会系统性地把处理效应压向零，让新标题显得没有实际那么有效。
校准并非随便做都行。普通最小二乘法（OLS，一种用直线拟合对应关系的方法）没有通过留出实验上的反证检验，结果距离真人基准3.8个标准误。随机森林和梯度提升树——两类能拟合更复杂关系的机器学习方法——表现更好，校准估计落在真人效应的抽样误差范围内，两者差异没有达到统计显著。不过，材料没有披露精确样本规模、置信区间和完整复现结果，因此不能据此笼统宣称“校准已经成功”。
最有用的时候，反而最难相信
这项工作的价值，不是宣布LLM不能参与实验，而是指出证据从哪里来。真人随机实验的因果解释来自随机设计；LLM代理实验的解释来自“代理性”和“可比性”两个假设。
麻烦恰恰在这里：这些条件无法针对全新的处理直接验证。新标题、新功能或新人群越接近历史实验，校准关系越有理由延续；差异越大，就越接近“分布外外推”——把旧数据学到的关系用到明显不同的新场景——假设也越难辩护。
于是出现一个克制但重要的结论：LLM代理最可能可靠的地方，往往是我们已经有较多真人数据的地方；它最能节省实验成本的陌生场景，反而最缺少可信保证。
局限与未知
- 所有结论来自Spotify Engineering这一独立信源；39%仅对应Upworthy数据、特定提示方式和gpt-4o-mini配置，不能视为所有LLM或A/B测试的普遍规律。
- 材料未说明“恢复处理效应”具体指总体平均效应、回归系数还是其他估计量，也未提供完整误差范围。
- 供稿结尾被截断，校准方法的后续分析和更多实验细节无法据此确认。