同一张表单,今天要求保留“启用”状态,明天起点却变成“停用”。如果网页智能体的验收规则还记着昨天的答案,就可能把错误操作判成合格。AgentProofBench专门测试这种变化:验证器——按规则自动检查结果的“验收员”——能否从每次任务的起始状态重新读懂要求,而不是背下旧答案。
这套基准覆盖97项任务、79个任务家族和四种网页服务。它保存相同的操作起点,再比较不同验收方案,类似让裁判观看同一段录像。在22个执行家族中,若验证器对部署状态的整组测试全部判对,33组程序配置里有32组能正确交付两个保存起点;一旦测试组出现错误,11组里仅1组做到。所有按参考规则定义的回退错误和漏交付,也都落在后一组。换句话说,验收测试是否过关,与智能体最终会不会把错误结果放行,出现了很强的对应关系。上述结果来自作者使用DeepSeek Flash/Pro、关闭思考模式的实验,能否推广到其他模型与服务,论文尚未给出答案。