导语
想象一个很常见的实验：研究者想知道“礼貌的政治对话”会不会改变一个人对民主制度的看法。于是他们让一半受试者和“礼貌版”AI 聊天，另一半和“冲突版”AI 聊天。看起来很清楚：随机分组之后，比一比结果就行。
问题在于，聊天不是药片。药片吞下去大体一样，聊天会被人带着走。同样被分到“冲突版”AI，一个善于降温的人可能很快把对话拉回平和；一个爱挑衅的人可能让对话一路升级。两个人名义上接受了同一个处理，但实际经历的对话完全不同。
Adriane Fresh 和 Aiden Shin 的论文《What is the Causal Effect of a Conversation?》讨论的正是这个麻烦：当政治科学研究把 conversations（对话）当作 treatments（处理，也就是研究者想比较的干预）时，尤其当对话由 generative AI（生成式 AI）来进行时，研究者到底在估计什么效果？本文所有关键判断都来自这篇论文，且本簇只有这一个独立信源，因此相关论断应理解为论文提出的方法论框架，而不是多项研究已交叉验证的经验结论。
随机分组，只回答了最窄的问题
在普通实验里，处理往往比较固定。比如给一组人看一条信息，另一组不看。只要随机分组做得好，研究者可以说，两组结果差异来自这条信息的影响。
AI 对话把事情变复杂了。论文指出，政治科学研究者越来越多地把对话作为处理使用。有些对话由人类完成，比如拉票员、访谈者、讨论主持人或同伴；越来越多的场景则可能由生成式 AI 完成。AI 的吸引力也很直接：它能把互动、回应性强、接近真实世界的处理大规模铺开。
但同一个优点也是问题来源。AI 会回应受试者，受试者也会改变 AI 接下来的话。论文用因果推断的语言说，这段 conversation 是 respondent（受试者）和 conversational agent（对话代理，可能是 AI，也可能是人）共同生成的。它不是研究者单方面发出去、受试者被动接收的东西。
所以，随机分到“AI 对话条件”只能比较“被分配到这个条件”的效果。这类效果在因果推断里接近 intent-to-treat，意思是看被安排进入某个条件本身带来的平均影响。它有用，也通常更容易被标准随机实验识别。
但如果研究者真正关心的是“礼貌对话本身有没有影响”“某类消息有没有影响”“冲突程度高低有没有影响”，那就不能只靠随机分组一笔带过。
处理本身会被受试者改写
论文的核心提醒可以说得更白一点：你随机分配的是入口，不是整段旅程。
研究者可以随机决定一个人看到什么开场白，也可以随机决定 AI 使用哪套 system prompt（系统提示，给模型规定角色、语气和回应方式的指令），甚至随机决定一整套 conversational policy（对话策略，即 AI 如何根据历史对话生成下一句话的规则）。
可是一旦聊天开始，后面的内容就取决于 history（对话历史，也就是到某一刻为止双方已经说过的话）。论文把对话看成一串连续消息：AI 说一句，受试者回一句，下一句又依赖前面所有内容。这样一来，同一个开场、同一套策略，可能生成不同的 realized conversation（实际发生的完整对话）。
这就是 endogenous（内生性）的来源。这里的意思不是“AI 有主观意图”，而是实际对话内容会受受试者特征影响。一个人的信念、脾气、表达习惯、好奇心、敌意、幽默感，都可能改变聊天路径；而这些特征也可能同时影响最终结果。比如本来就不信任民主制度的人，可能更容易把对话推向冲突，也更可能在事后给出负面态度。此时，如果研究者说“高冲突对话导致了更低信任”，就可能把人的原有差异误当成对话效果。
先问清楚：你要估计哪一种效果？
这篇论文的贡献不是给出一个新实验结果，而是搭了一个 potential outcomes framework（潜在结果框架）。潜在结果是因果推断里常用的想法：对同一个人，我们关心他在不同处理下本会出现什么结果，只是现实中通常只能看到其中一种。
论文把“对话的因果效应”拆成多个可能对象。它们听起来相近，但回答的问题不同。
第一类是 assignment to a conversational condition，也就是被分配到某个对话条件的效果。例如被分到“礼貌 AI”还是“冲突 AI”。标准随机设计通常能识别的是这一类。
第二类是 assignment to a conversational policy，也就是部署一套对话系统或对话规则的效果。比如一个 AI 被要求保持礼貌，另一个被要求更具对抗性。这里关心的是系统策略，而不是某一句具体话。
第三类是 opening messages，即开场白效果。第一句话可能影响后续气氛，但如果受试者先开口，或开场之后迅速被对方反应改写，识别就会更复杂。
第四类是 messages within a conversation，即对话中某一句消息的效果。比如在相同对话历史下，把一句强硬回复换成温和回复，会不会改变结局。这里的关键词是“相同历史”。没有这个条件，消息出现在哪种上下文里本身就不是随机的。
第五类是 realized conversational features，也就是实际对话呈现出的特征，例如礼貌、敌意、同理心、说服性。论文强调，这些特征常常才是理论上真正关心的东西，但它们是在互动中生成的，不一定由随机分组直接决定。
第六类是 full realized conversation，即完整实际对话的效果。这个问题最贴近“这段聊天本身造成了什么”，但也最难。因为完整聊天路径高度依赖受试者和对话代理的共同生成。
换句话说，论文不是说 AI 对话实验不能做。它说的是：先把 estimand（估计目标，也就是研究真正想回答的“效果是什么”）说清楚。你是在问“被安排去聊的效果”，还是“实际聊成某种样子的效果”？这两个问题不能混用。
为什么现在值得看
这篇论文接上了一个更大的方法论问题：真实世界里的干预越来越不像固定按钮，而像互动过程。
我们此前在 2026-07-05 的 A75 里讨论过，群体互动实验中，个体之间会互相影响，导致常规推断失效。这次的问题更进一步：难点不只是人会影响人，而是受试者会影响处理本身。AI 对话看似让实验更可控、更可扩展，但它也把“处理是什么”这件事变得更不稳定。
论文的价值在于，它给研究者一套比较清楚的语言。某些问题可以用标准随机实验回答。另一些问题则需要额外假设或额外设计。论文提到的方向包括 sequential assumptions（序贯假设，即在对话按时间展开时，对每一步如何比较作出假设）、representations of conversational histories（把对话历史表示成可分析对象），以及 explicit message-level interventions（明确在消息层面进行干预）。
这对政治研究有用，对产品实验和客服实验也有启发。比如一个公司想测试“更有同理心的 AI 客服是否提高满意度”。如果只是把用户随机分到两个机器人，就只能稳妥地说“分到这套客服系统”的效果。若要说“同理心表达本身”的效果，还得处理一个问题：哪些用户更容易让机器人说出同理心？这些用户本身是否也更容易满意？
AI 让对话处理变得便宜、规模化、接近真实场景。但越像真实场景，越要小心定义因果问题。否则实验跑得很快，回答的却不是研究者以为的问题。
局限与未知
- 本专题依据的核心材料只有 S1 一篇论文，且供稿没有提供样本量、实验结果或模型效果数字；本文不能把框架性主张写成已被多项实证研究证明的结论。
- 论文讨论的是方法论框架，不是某个 AI 系统或产品评测；它说明不同因果对象需要不同识别条件，但摘要材料没有给出可直接套用的实验模板。
- 论文主要把两方、顺序交换、文本形式的对话作为起点；更多人参与、异步讨论、多模态交流等复杂场景如何扩展，仍需后续工作。