让 AI 写出一段能跑的代码不难,难的是让它按要求改完整个项目,还要经得住测试。Akka 把这件事放进 65 个开源项目实测:先把需求、接口、行为和验收标准写成结构化规格,再让 AI 编程 Agent——能读项目、改文件、运行测试并反复修正的工具——据此完成软件移植。相比单次演示,这更接近真实工程交付。
实验先分析全部项目,并各实现最多 10% 的功能,再选出 10 个做完整移植。流程覆盖需求发现、规格定义、移植、基准测试和优化。首轮共耗时 99.3 小时、处理 94.1 亿个 Token;据 Akka 报告,65 个项目中有 57 个在代码行数或性能方面改善。
一个值得注意的结果是:Sonnet 平均每项移植用时 61 分钟,Opus 要 120 分钟,但后者少消耗约 40% 的 Token。更高的工作量设置也没有稳定换来更高效率。这说明模型更大、投入更多,并不自动等于交付更好。不过性能差异很大,Netflix Metaflow 甚至慢约 100 倍;现有材料也未厘清改善究竟来自模型能力、规格约束,还是移除了死代码。