你让 AI Agent 打开网页后继续办事,工具返回前常有一段空闲。投机执行会让一个更便宜的小模型先猜下一步并提前启动:猜中就省时间,猜错便丢弃结果。问题是,以往的预测器每次都像失忆一样,可能在相似任务里反复犯同一种错。
Yu Li 等人提出给预测器加上在线记忆——系统运行时持续记录经验。它会统计动作顺序,检索与当前情境相似的历史片段,还用“混淆追踪器”压制反复出现的错误,像处理新工单前翻看旧记录。作者在六个基准上报告,动作预测的相对准确率提高 19%—39%;在动作空间重复的观察预测任务中,最高提升至 2.5 倍,而且记忆积累越多,收益仍会增长。
这种加速被称为“无损”:预测只利用等待工具的空闲时间,猜错至多浪费这次预执行,不改变 Agent 最终采取的有效步骤。上述效果来自作者实验,论文尚未说明它在真实部署中的实际端到端提速幅度。