普通软件像计算器，同样输入通常得到同样答案；大模型却可能每次答得略有不同，连“答得好不好”也常带主观判断。Airbnb 因此主张把评测前移：先定好标准和测试案例，再让开发、评测、修改不断循环，而不是等到发布前才集中验收。
这套思路最值得注意的，是它把一次 AI 交互拆成检索、推理、工具调用和内容生成等环节；任何一环都可能单独出错。遇到文风、完整性这类难以逐字核对的表现，团队还会用 LLM-as-a-judge——让另一个大模型按规则评分，但裁判本身也会波动，仍需校准和检查一致性。
Airbnb 的基础设施团队提供通用工具和实践，各产品团队再按自身场景制定标准。换句话说，评测不再是一张统一的上线清单，而是每轮开发决策的导航仪。文章同时提醒，这些经验并非适合所有团队的固定配方；供稿未披露统一指标或量化效果。