你想测试“带脏话的社交媒体文案会不会改变读者反应”。最直接的办法，是找一批带脏话的帖子，再找一批不带的，随机展示给不同的人。但问题马上来了：带脏话的帖子可能碰巧在谈不同话题，篇幅和语气也可能不同。最后测到的差异，究竟来自脏话，还是来自整篇文字的其他区别？
Eli Ben-Michael 与 Zach Branson 的论文《AI-assisted design and analysis of experiments with unstructured treatments》处理的正是这个难题。两位作者提出一套随机实验框架，让生成式 AI 或大型数据库参与挑选文本、图像、视频等实验材料。AI 在这里不只是实验结束后的分析助手，也开始进入实验开始前的“处理设计”。不过，目前论文展示的是方法框架和两个假想实验，并非已经实施的真实随机实验；以下效果与性质也都来自这篇论文，尚无独立信源交叉验证。
随机分组还不够
传统实验的处理通常很清楚，例如“有没有折扣”。这里的处理却可能是一整段文案、一张图片或一段视频，论文称之为“非结构化处理”（unstructured treatment）。研究者真正想知道的，往往不是某张图片整体有没有效果，而是图片中的某个视觉元素是否起了作用。
随机实验可以把受试者随机分组，让各组平均而言更可比。但它不会自动拆开实验材料内部的差异。假如亲切语气总与较短文案同时出现，那么实验识别到的是这套组合的效果，很难单独归因于语气。这就是“属性混杂”。
另一道难题是代表性。研究者可以精心制作两段几乎完全相同、只改动目标属性的文字。这样有利于内部效度——也就是在这批材料中，因果比较是否站得住。但结论可能只适用于这两段文字，换一批文案就未必成立，外部效度因而受限。
反过来，如果直接从真实数据库或生成模型中随机抽取大量材料，样本会更接近自然分布，外部效度更好，却也会原样带入现实中的属性关联。比如脏话与话题、情绪和写法同时变化，内部效度就会变差。
先决定“从哪里抽”，再做实验
论文的关键转向，是不把 AI 生成的内容照单全收。研究者先从生成式 AI 或大型数据库取得候选处理，再调整不同材料被选入实验的概率。
可以把它理解为从两个篮子里挑文案：一个篮子有目标属性，另一个没有。若直接各自随机拿取，两篮内容可能在许多方面都不同。论文的方法会重新安排抽取权重，让两组材料在若干特征上更接近，同时又不过度偏离研究者真正关心的材料范围。
这些特征可以来自“嵌入”（embedding）——模型把文本或图像压缩成一组数字，用来表示内容上的相似与差异。特征既不能少到漏掉关键区别，也不能细到每份材料都独一无二、完全找不到可比对象。论文指出，这里存在一个根本张力：表示越丰富，越可能捕捉影响结果的差异；但维度越高，带有和不带有目标属性的材料越难找到重叠区域。
作者把目标写成一种经过特征控制的平均处理效应，称为 -isolated Average Treatment Effect（-IATE）$。说白了，它问的是：在选定的可比特征范围内，目标属性从“没有”变成“有”，平均会带来多大差异。
这套定义也提醒研究者，所谓“平均效果”并非天然唯一。把哪一类文本或图片设为目标分布，决定了结论想推广到哪里。如果两组材料在某些特征区域完全不重叠，实验就无法仅凭设计识别那部分效果，除非额外加入很强的模型假设。
在两种有效性之间调旋钮
论文分析了最朴素的 difference-in-means estimator——两组结果直接相减的“均值差估计量”。它的偏差主要受三类距离影响：两组实验材料彼此有多不相似；实验材料与目标分布有多不相似；重新加权后的抽样分布与原本的自然分布偏离多远。
前两项分别对应内部效度和外部效度。第三项则防止设计为了追求表面平衡而走得太远：如果用于描述材料的模型并不完整，过度偏离自然分布会迫使分析依赖外推，带来额外误差。
作者据此建立一个带惩罚项的优化问题。研究者可以调节两个方向：更看重两组材料彼此可比，还是更看重实验材料贴近目标范围；更愿意为了平衡而改变抽样概率，还是更希望保留自然分布。AI因此不是替研究者决定“正确答案”，而是扩大候选材料池，再由统计设计约束哪些材料更可能进入实验。
论文还讨论了另一种做法：让生成式 AI 给现有材料添加或移除目标属性，再用同一框架控制偏差。例如修改一段文字是否包含某种语言特征。不过，框架始终把 AI 的生成当作黑箱，不假定它改得准确，也不给其性能作保证。
AI也参与结果估计
实验完成后，作者给出基于均值差估计量的保守渐近推断。“渐近”指样本增大时成立的统计性质；“保守”意味着不把不确定性估得过小。
论文还提出 calibrated AI-assisted estimator，即“经过校准的 AI 辅助估计量”。它引入 zero-shot AI predictions——模型不针对本实验另行训练，直接对结果作预测——以帮助减少估计波动。关键不在于相信预测一定正确，而在于对预测进行校准，把它当作辅助信息。作者称，该估计量旨在不引入偏差的情况下提高精度。
这里的边界很重要。论文采用有限总体框架：受试者及其潜在结果被视为固定，唯一的随机性来自处理分配。AI 的生成和预测则都被当作没有性能保证的黑箱。因此，“不引入偏差”是该估计量在论文设定与假设下的性质，不能泛化成任何 AI 辅助分析都会无偏。
为什么值得关注
这项工作的意义，不是证明 AI 能把实验自动化，而是把 AI 放进一条更完整的工作流：先生成或汇集候选材料，再设计抽样分布，随后随机分配，最后辅助估计。
过去，研究者面对文本或图像实验，常在两种不理想选择之间摇摆：精心控制少数材料，或随机抽取大量材料。前者容易缺乏推广性，后者容易混入其他差异。论文把这组矛盾明确写进设计目标，让“可比”与“有代表性”成为可以显式权衡的对象。
它也改变了看待生成式 AI 的角度。模型生成更多文案或图片，并不天然带来更可靠的因果结论。真正关键的是：这些材料如何进入实验，它们代表什么范围，以及目标属性之外还一起改变了什么。
局限与未知
- 论文用一个文本案例和一个图像案例说明并评估框架，但它们是两个假想实验，不是已实施的真实随机实验。材料没有提供样本量、精度提升幅度或与基线方法的量化比较。
- 方法依赖研究者定义目标属性、特征表示和目标分布。论文明确把属性函数的误分类及属性定义不清归为构念效度问题，并把如何选择该函数留待未来研究。
- 更丰富的特征有助于减少遗漏，却会削弱不同材料之间的重叠。论文可以检验重叠是否存在，却无法检验所有影响结果的材料差异是否都已被特征捕捉。