LLM能预判社会实验吗

如果你要测试一句公共政策宣传语有没有用，正常做法是找一批真实的人，随机给他们看不同版本，再比较态度有没有变化。问题是，这很慢，也不便宜。新的问题来了：在正式实验前，能不能先让 LLM 当一批“模拟受访者”，预估哪种干预更可能有效？Nature 这篇论文问的正是这件事。它不是说用 AI 替代真实人类，而是看 LLM 能不能帮社会科学做一部分预实验筛选。

这里的社会科学实验，指研究者测试某种信息、政策表述或干预是否会改变人的态度和行为。论文关注的是 treatment effect——处理效应，也就是接受某种刺激的人和没有接受的人，在回答或行为上的差异。

他们怎么让模型“参加实验”

据 Nature 论文摘要，研究团队构建了一个档案：70 个预注册的、美国全国代表性调查实验，包含 469 个 experimental effects，真实参与者共 119,330 人。

预注册，意思是研究者在实验开始前先公开写下问题、方法和分析计划，减少事后挑结果的空间。全国代表性样本，则是让受访者结构尽量接近美国总体人口，而不是只代表某个平台的一小群用户。

研究做法可以理解成一次“影子实验”。团队给 LLM 设定不同美国人群特征，让模型模拟这些人看到实验刺激后会怎么回答。然后，研究者像分析真实实验一样，比较不同条件下的模拟回答，从中推断 treatment effects。

这一步的关键不在于模型能不能生成像人的一句话，而在于它能不能预测“总体差异”：比如 A 版本信息相比 B 版本，平均会不会让态度更支持某项政策，幅度大概是多少。

结果看起来有用，但不能读成神谕

论文称，来自 GPT-4 的预测与真实 treatment effects “强相关”，准确性接近 pooled human forecasts——把多个人类预测者的判断汇总后的结果。这个说法目前主要来自论文摘要，供稿材料没有给出具体相关系数、误差指标或置信区间，所以这里不能把它写成“准确到什么百分比”。

训练数据污染是这类研究绕不开的问题。LLM 可能在训练时见过某些论文或结果，于是看似会预测，实际是在“回忆”。论文摘要说，GPT-4 的 training-data cutoff——训练数据截止时间——早于档案中许多研究的发表时间；对于截止时间前尚未发表或公开发布的研究，相关性仍然较高。摘要还说，一些 prominent open-weight models——较知名的开放权重模型——也保持较高相关性。

这减轻了“全靠背答案”的疑虑，但没有完全消除。供稿没有披露具体排除规则和完整细节，所以更稳妥的表述是：研究做了针对训练数据时间的检查，并报告模型在未公开研究上仍表现较好；但我们还不能据此断言训练数据泄漏被彻底排除。

还有一个重要负面结果：LLM 系统性高估了 effect sizes，也就是把效果大小估得偏大。换句话说，它可能能看出方向和相对强弱，却容易把真实世界里较小的变化说得更大。对社会科学来说，这不是小问题。因为很多干预本来效果就细微，过度乐观会让研究者误判资源投向。

论文还测试了另一个 secondary archive：15 个 megastudies，606 个 effects。megastudy 可以理解为同时比较很多干预方案的大型研究。在这个档案里，LLM 预测相关性较低，但仍与 pooled expert forecasters——汇总后的专家预测——相当。

为什么这值得现在看

这篇论文把讨论从“LLM 会不会模拟人说话”推进到“LLM 能不能辅助实验设计”。这两件事差别很大。前者看的是生成内容像不像人，后者看的是它能不能帮助研究者判断哪些实验值得先做、哪些干预值得优先测试、哪些结果可能需要复现。

论文摘要称，团队还调查了 460 名 social scientists，了解他们对潜在用途和风险的看法，并评估了 pilot testing、intervention selection、identifying effects needing replication 等场景。pilot testing 是正式实验前的小规模试跑；intervention selection 是从多个干预方案中挑更有希望的；identifying effects needing replication 则是找出哪些效果更需要重复验证。

这也解释了为什么 Nature 同时给出 News & Views 评论。评论标题的态度很克制：Judicious use of LLMs could speed up progress in the social sciences。意思不是“LLM 将接管社会科学”，而是“审慎使用可能加速进展”。

真正有价值的定位，也许是把 LLM 当成低成本的预判工具。它可以帮助研究者在正式招募人类参与者前，先排除一些明显弱的方案，或者挑出更值得验证的问题。但最后的裁判仍然应是真实人类实验，尤其是当研究会影响政策、公共传播或脆弱群体时。

局限与未知

供稿材料没有给出具体相关系数、误差、置信区间，也没有展开各类实验的差异表现，因此不能判断模型在哪些社会议题上更可靠。
论文报告模型系统性高估 effect sizes。这意味着它用于筛选方向或许有价值，但直接拿来估算真实影响幅度会有风险。
训练数据污染问题有所检查，但摘要没有披露完整排除规则。现有材料只能支持“研究尝试处理这一问题”，不能支持“完全排除泄漏”。