你让同一位 AI 裁判，用六种格式略有不同的评分说明，反复比较同一对答案。裁决变了，究竟是措辞真的影响了它，还是模型这次恰好抽到了另一个答案？两种现象看起来一样，含义却完全不同：前者说明评价标准不稳，后者只是单次调用有随机性。
这篇论文要解决的，就是如何把二者拆开。作者认为，常见算法会把一部分随机波动错算成提示词敏感性，尤其在每种提示只调用几次时。论文提出一套无偏估计方法，并用模拟、真实模型实验和四种裁判配置验证。以下结果均来自作者团队公开的论文与实验，尚无独立复现。
别急着怪提示词
LLM-as-a-judge，是让语言模型充当裁判，按标准评价另一个答案，例如判断谁更正确、更符合指令。它便宜，也容易扩大评测规模。但裁判并不是一把固定的尺子：评分会受提示词、答案顺序、生成随机性、解析规则和运行环境影响。
论文区分了两类不稳定。
一类发生在同一个提示词内部。同样的模型、问题和评分说明，重复调用仍可能得到不同裁决。这叫采样噪声——模型从多个可能输出中抽取结果所产生的波动。
另一类发生在不同提示词之间。换一种标题、分隔符或信息排列后，裁决概率系统性改变。这才是论文要测的“提示词不稳定性”。如果结论只在某一种说法下成立，就很难称为稳定的评价标准。
问题在于，常用的 plug-in estimator（插件估计）会先根据少量调用，估出每个提示词下各类裁决的概率，再计算这些概率之间的差异。可每个概率本身也带着采样噪声。重复次数少时，算法会把这些偶然差异也记到提示词头上，因此系统性高估提示词的不稳定程度。
关键不是一次裁决，而是“一袋概率”
作者把观察对象从单次答案换成了“每个提示词对应的裁决分布”。比如，同一提示下，裁判可能有一定概率选候选一、候选二、平局或给出无效输出。不同提示各有一套这样的概率分布。
论文称这些分布的整体分布为 second-order response law，可译作“二阶响应规律”。“二阶”并不神秘：普通分布描述裁判会给什么答案；二阶规律描述不同提示词会带来怎样的一组答案分布。
估计方法抓住了一个直观差值：比较“同一提示下两次独立调用有多一致”和“不同提示下两次调用有多一致”。前者帮助量出提示词内部的随机波动，后者还包含提示词之间的差异。把两种一致性适当相减，就能估计提示词本身贡献的那部分变化，而且不会让一次调用和自己配对。
这里还有一个容易忽略的设计选择。如果提示词来自一个可重复抽样的生成器，目标是估计这类提示词总体的性质；如果研究者事先声明六个固定提示，并把它们视为完整考察范围，目标就只是这六个提示的性质。论文分别给出了两种设计的无偏估计量，不能混用。
一次拆成四笔账
在两答案比较任务中，作者又加入答案顺序：同一对候选既按 AB 展示，也按 BA 展示。这样，观察到的总分歧可拆成四部分：提示词影响、答案顺序影响、两者的交互影响，以及同一条件下不同调用之间的残余随机性。
所谓交互影响，是指某个提示词只有碰上特定答案顺序时才改变裁决。残余调用波动，则是提示词和顺序都不变后，模型仍会改口的部分。
论文也把已经生成、但为空、无法解析、拒答或按固定规则被截断的结果保留为第四类结果。只有没有返回任何完成内容的基础设施故障才允许重试。这样做避免了只保留“成功作答”的样本，从而破坏原有实验配比。
数据说明了什么？
作者先在已知真实生成规律的模拟中检查方法。六个提示、真实提示词差异为零时，插件估计在每个单元重复 2、4、8 次时，偏差分别为 0.1459、0.0730 和 0.0365；校正估计的偏差接近零。在论文考察的 12 种模拟设置里，校正方法把均方误差降低到插件估计的约 1/2.57 至 1/7.03。
更有说服力的是 byte-identical live null，即“字节完全相同的真实空检验”。实验给六组调用随机分配隐藏编号，但模型看到的输入、种子和调度字段完全相同，因此按实验定义，提示词差异应为零。重复 2、4、8 次时，插件估计均值仍达到 0.0406、0.0206 和 0.0126；校正值则接近零，最高为 0.0024。换句话说，哪怕提示内容根本没变，有限调用也能制造出貌似存在的“提示词效应”。
在 Qwen3.6-27B 的配对实验中，作者使用 50 个项目、六种格式包装和两种答案顺序。与另一批独立获取、每个单元重复 16 次的低噪声参考结果相比，重复两次时，插件估计的平均绝对误差为 0.0365，校正后降至 0.0160；重复八次时，则从 0.0112 降至 0.0076。这里的 16 次结果只是较低噪声的参照，不是真实值或金标准。
这组独立参考数据还显示，Qwen 配置的总分歧中，残余调用成分为 0.1957，答案顺序为 0.0511，提示词和交互项各为 0.0040。至少在这一配置和实验范围内，裁判改口主要不是因为那六种格式，而是同一条件下的调用波动。
为什么这件事值得关注？
这项工作的价值，不只是给分数减去一个偏差。它提醒评测者：看到“换个提示，排名就变了”，不能立刻断言模型对提示词敏感。重复调用太少，本身就会放大表面差异。
论文共保留 44,112 次不重复的真实调用。四种冻结配置的对照也显示，误差来源并不相同：Qwen3.6-27B 和 GPT-OSS-120B 以残余调用波动为最大成分；Gemma-3-27B-IT 和 Claude Haiku 4.5 则以答案顺序为最大成分。校正还改变了四种配置的提示词不稳定性排序；在 78.8% 的项目重采样中，插件方法与校正方法选出的“最不稳定配置”不同。
这意味着，评测预算不该只问“要测多少提示词”，还要问“每个提示要重复多少次”，以及“答案顺序是否交叉测试”。否则，一个看似精确的稳健性排行榜，可能主要排的是各配置的调用噪声。
局限与未知
- 实验只覆盖六种格式包装，核心评分标准、题目文字和答案约定保持不变。结论不能直接推广到改写语义、加入示例或来自未知生成器的新提示词。
- 无偏性针对论文声明的二次型指标、提示词政策和实验设计，不代表所有 LLM 裁判偏差都能被完整拆解。估计还假设不同调用在给定条件下相互独立。
- 四种配置不仅模型不同，渲染和停止规则也不同。因此结果描述的是完整裁判配置，不能单独归因于模型 checkpoint。论文也明确指出，temperature 为零并不自动保证确定性。