让 AI 自己改代码、自己验收再上线,像是给系统请了一位不用休息的维修工。问题是,如果验收员也会看走眼,而错误上线后又撤不干净,这条自动改进流水线反而会持续制造风险。论文因此提出两个必须先量化的前提:验证器强度——自动质检结果与可信参考判断有多一致;可恢复性——坏修改能否快速、低成本地撤销。
最值得警惕的是,作者测试平台所用的 LLM judge(充当评委的语言模型)时,发现它在 37 种设置中有 9 种无论看到什么都给出相同分数,而且不报错。也就是说,质检流程表面正常,实际上可能什么都放行。论文还发现,直接恢复保存的旧版本能带回原有行为;临时重新生成一个“撤销修改”则做不到。即使回滚成功,错误版本上线期间已经改变的任务结果也无法追回。
因此,作者主张只有旧版本被保留、验证器强度也经过测量时,修改才可无人值守地发布;任一条件未知,系统就应拒绝自动放行。实验没有给出通用安全阈值,具体标准仍需按场景校准。