让AI改一个大型软件项目，像请新人去一座巨型仓库修设备：会写代码还不够，它得先找对位置，改完也不能误伤别处。Databricks因此没有只看公开榜单，而是拿工程师实际完成过的任务，测试编程Agent——能读取项目、修改多个文件、运行测试并反复修正的AI工具。任务覆盖一个数百万行、包含Python、Go、Typescript和Scala等语言的内部代码库，并由人工复核任务与答案。
最值得注意的是，便宜的“字数单价”不等于便宜的任务。Databricks称，Sonnet 5每个token——模型处理文字和代码的计费单位——价格约比Opus 4.8低1.7倍，但它完成每项任务平均花费2.09美元，高于后者的1.94美元；完成率也低6个百分点，为81%对87%。原因是Sonnet 5工作更久、读取更多内容，消耗了1.9倍token。同一模型换用不同harness——把模型接入文件、终端和测试工具的执行外壳——质量相同，单项成本有时也会相差两倍以上。换句话说，企业挑选Agent，不能只比较模型或公开分数，还要连真实任务、执行工具和总成本一起测；不过这是Databricks内部测试，结果未必能直接推广到其他公司的代码库。