你让 AI 写程序，它可能反复犯同一种错：代码看着合理，却没先运行测试。通常，人们会事先把检查和重试流程写死。TTHE（Test-Time Harness Evolution）换了个思路：测试已经开始后，仍允许 Agent 改造自己的 harness——也就是包在模型外面、负责组织上下文、调用工具、验证结果和处理失败的执行框架。
TTHE不改模型参数，也不给正确答案。它让多个候选框架处理一批未标注任务，再由提议者阅读代码、报错、工具返回和测试结果等运行痕迹，提出新的框架版本；随后，裁判依据这些执行信号选出一个，并让它继续处理后续任务。作者称，这套方法在文本转 SQL、竞赛编程、软件工程、数据科学编程和工具调用任务上都优于固定的 ReAct 式基线。更值得注意的是，增加搜索预算并不总会继续提升表现：程序能运行、能通过可见测试，不代表答案真的正确，裁判也可能选中“看似靠谱”的错误版本。换句话说，Agent能力正越来越取决于模型外面的程序，而如何在没有标准答案时可靠地改进这套程序，仍是关键难题。