你给八位厨师同样的食材，不会只看他们过去每道菜的平均分，就直接选一位掌勺。你更想把成品摆在一起，问评审：这轮最好的是谁，最差的是谁。智能体发布也一样。模型、提示词和工具需要成套工作，分别算平均分，可能选错真正该上线的组合。
Towards Data Science 作者 Doster Esh 提议，把智能体评测从“排行榜”改成一场直接选择：让多套配置处理相同样本，匿名展示输出，再由评审器选出一个最好和一个最差。随后用统计模型汇总这些选择。本文数据和结论均来自作者单一信源，尚无论文、代码或独立实验交叉验证。
平均分把搭配关系抹平了
常见做法是分别更换模型、改写提示词或替换工具，然后比较平均分。但“最好模型＋最好提示词＋最好工具”未必等于最好配置。
原因是组件存在交互——一个组件的效果会随另一个组件改变。作者举例说，帮助较小模型的提示词可能拖慢较强模型；同一个检索工具，搭配开放式提示词和严格的分步提示词时，也可能表现不同。平均分把任务、评审和组件组合压成一个数字，恰好可能藏住这些差异。
作者用发票图片转结构化 JSON 做演示。测试取自 HuggingFace 的 shubh303/Invoice-to-Json 数据集，共100份发票。每份发票随机抽取8套配置中的5套运行；排除一次无效运行后，共得到499次结果，其中488次符合规定的 JSON 结构。
八套配置来自三个二选一因素：模型是 Claude Haiku 4.5 或 GPT-5.4-mini；提示词是强调规则和步骤的 Systematic Planner，或先理解文档、再自由提取的 Contextual Leaper；工具是 stream table rows 或 semantic search。两个工具都是确定性的模拟接口，因此实验并不检验 OCR、真实检索或解析质量，只观察智能体如何使用不同工具接口和处理上下文。
不逐个打分，直接选最好和最差
每轮五份匿名输出交给 claude-sonnet-4-6。评审器不打1到10分，只选一个 best 和一个 worst。这叫 MaxDiff，也称最佳—最差比较：它要求评审直接表达候选项之间的取舍。
这些选择还可以交给 Plackett–Luce 模型——一种从选择或排序数据中估计相对偏好强度的统计模型。经过相应编码或似然建模，多轮判断可被汇总成各配置的效用，而不是又算一次简单平均。MaxDiff 与 Plackett–Luce 可以用于同一评测流程，但两者的观测假设和拟合方式并不完全等价。
原始胜率已经显示出平均值之外的层次。GPT＋Leaper＋Semantic 的 Config 7 出现71次，获胜21次，胜率29.6%，居首；Haiku＋Planner＋Semantic 的 Config 1 胜率25.8%；GPT＋Planner＋Semantic 的 Config 5 则只有12.9%。不过胜率仍不等于最终答案：击败较弱对手，与在强手扎堆的一轮胜出，不该获得完全相同的评价。
遗憾的是，供稿在解释“竞争质量”时中断，没有给出 Plackett–Luce 或 MaxDiff 的最终效用估计。因此现有材料只能说明这种方法如何改变决策框架，不能证明它带来具体性能提升，也不能据此宣布哪套配置应当部署。
为什么值得关注
它瞄准的不是“谁平均更高”，而是发布时真正要回答的问题：哪一整套配置更值得上线，哪些组合应该淘汰，下一轮该测什么。
评测智能体也可以接管机械工作：生成候选配置、执行同题比较、分析效用结果，再提出下一轮实验。但最终标准仍由人决定。什么算好答案、错误代价多大、速度是否重要，这些判断不能由排名模型代替。
局限与未知
- 全部论断来自作者单一信源；材料未提供效应值、方差、显著性、成本及复现实验结果。
- 评审器是否稳定、是否受输出位置影响，以及匿名化是否充分，材料没有验证。
- 同一发票下多套配置的结果彼此相关，拟合是否处理这种相关性，以及最终效用排名如何变化，供稿未披露。