你让 AI 阅读十万条客服对话，它很快就能交出一套分类、几组比例和一页管理层摘要。报告看起来像模像样，麻烦却藏在成品背后：它为什么这样分类，抽了哪些证据，换一次运行会不会得出另一套答案？如果这些问题无人能回答，再漂亮的结论也很难进入真正的业务决策。
Airbnb Engineering 介绍的工作，正是要补上这层缺失。它没有把重点放在训练一个更聪明的模型上，而是搭建了一套面向数据科学的 agent harness——可以理解为套在 AI 代理外面的工作框架，把提问、取证和记录判断的规则写进基础设施。本文涉及的效果与案例均来自 Airbnb 单一官方信源，原文没有提供外部评测、代码或复现结果，因此更适合看作一套生产系统的设计主张，而非已经独立验证的结论。
漂亮答案不等于可靠调查
这套系统源于一次很具体的上线准备。Airbnb 称，2025 年公司正在筹备一款 AI customer service assistant。团队需要先研究它在真实服务中会遇到什么情况，尤其是发生率很低、但由 AI 介入可能有风险的事件。研究人员要建立事件分类体系，估算各类事件的发生率，再据此制作数据集。
客服对话属于非结构化数据——它不像表格那样已经分好行列，而是一段段自然语言。AI 擅长快速整理这些材料，但“怎样算一类”“哪些样本有代表性”“比例按什么口径统计”，仍然是会改变结论的科学判断。
过去，这类调查更像手工作坊。据 Airbnb Engineering，每项调查都要经历数月的高强度迭代：数据科学家寻找数据，与业务专家反复查看样本、修改分类，再制作代表性数据集。过程分散在 notebooks（用于分析的交互式代码文档）、表格和普通文档里，需要人工维护。后来，同类需求扩展到新语言、新地区和新产品，频率接近每周一次，这套做法便难以继续扩张。
把调查方法也做成产品
Airbnb给出的核心判断很简单：模型生成的答案只是产品的一部分，产生答案的方法也应该成为产品。
所谓代理式数据探索，就是让 AI 代理连续执行分类、统计和归纳等步骤。普通做法往往只保留最后的报告；这套 agent harness 则试图约束整个过程：先怎样界定问题，随后选择什么证据，以及每个关键决定如何记录。这样一来，审核者看到的不只是结论，还能沿着记录回看结论从哪里来。
这里有两个重要目标。一个是可复现性：使用相同数据和方法再次运行，应当得到一致或至少能够解释差异的结果。另一个是可审计性：系统保留输入、方法、证据和版本记录，让数据、研究或合规人员能够追溯判断。说白了，它想把 AI 从“会写报告的聪明助手”，变成“交得出实验记录的调查员”。
Airbnb把历次调查积累的方法封装成 Insight Miner。据其工程团队介绍，原本耗时数月的流程因此缩短到数天。工具起初只供数据科学团队使用；上线约一年后，已有几十个团队用它完成数百种调查，非技术用户反而超过技术人员。Airbnb随后增加图形界面，让运营和产品洞察人员也能分析开放式问卷、模型表现与欺诈模式，不必先会写代码。
真正的变化在模型外面
这件事值得关注，不是因为 AI 又能更快地读文本，而是因为企业开始认真处理“自动分析如何承担责任”。模型能力越强，直接产出一个流畅答案就越容易；但在生产环境里，人们还要知道答案是否稳定、证据是否充分，以及某个判断由谁、在什么版本下作出。
agent harness 的价值正在这里：它把原本散落在研究人员经验里的步骤，变成团队可以共享、检查和继续改进的流程。领域专家也因此不只是给 AI 提问，而能参与制定分类标准、查看证据和质疑结论。重点从“模型能不能做”移向“组织能不能放心地使用它”。
局限与未知
- 原文开头所说“数分钟分析十万条对话”，是设想式例子，不是明确披露的 Airbnb 实测成绩；所谓精确发生率也没有实验材料支持。
- 现有材料没有公开模型、数据集、实验设计、错误率或复现结果，无法判断系统在不同语言、任务和重复运行中的实际稳定性。
- “可复现、可审计、可质疑”目前是系统的设计目标和作者主张。它是否真正达到这些标准，还需要代码、记录样例及独立评估来验证。