调代码常像反复试菜：改一点，测一次，变好就留下，变差就撤回。pi-autoresearch 把这套试错交给 pi——一种能在命令行里读写代码、运行工具的 AI 助手。它不是新模型，而是一个扩展：Agent 可以自行提出改动、运行实验，再由 Benchmark（用固定任务和指标衡量效果的基准测试）判断结果，持续保留改善、撤销回归，也就是导致原有表现变差的修改。
具体来说，开发者先设定指标、单位和优化方向；扩展随后执行任意测试命令，记录耗时与输出，并把每次结果自动提交到 Git。它还能用面板展示修改、指标和状态。连续运行至少三次后，系统会计算“置信分数”，比较最佳提升与测试自身的波动：达到噪声的 2 倍，才标成“可能是真改善”；低于 1 倍，则视为仍在噪声范围内。这一点很实用，因为跑得快一点，未必真是代码变好了。项目称它可用于测试速度、构建时间、包体积、Lighthouse 分数或 LLM 训练等目标，但仓库材料未提供实际优化成效数据。