Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.116 — 2026-10-28
PAPER HF 12 约 1 分钟

网页智能体的验收规则能否复用

测试网页智能体的“验收员”能否随需求变化复用,并把判错与实际执行后果对应起来。

同一张表单,今天要求保留“启用”状态,明天起点却变成“停用”。如果网页智能体的验收规则还记着昨天的答案,就可能把错误操作判成合格。AgentProofBench专门测试这种变化:验证器——按规则自动检查结果的“验收员”——能否从每次任务的起始状态重新读懂要求,而不是背下旧答案。

这套基准覆盖97项任务、79个任务家族和四种网页服务。它保存相同的操作起点,再比较不同验收方案,类似让裁判观看同一段录像。在22个执行家族中,若验证器对部署状态的整组测试全部判对,33组程序配置里有32组能正确交付两个保存起点;一旦测试组出现错误,11组里仅1组做到。所有按参考规则定义的回退错误和漏交付,也都落在后一组。换句话说,验收测试是否过关,与智能体最终会不会把错误结果放行,出现了很强的对应关系。上述结果来自作者使用DeepSeek Flash/Pro、关闭思考模式的实验,能否推广到其他模型与服务,论文尚未给出答案。


供稿材料 SOURCES — 1

← 返回 2026-10-28 · 学术板块