你让智能体删掉一条已经作废的观察,它表面上删了,脑中的“草稿”却未必同步擦净。问题出在 KV Cache(键值缓存)——模型为避免反复计算而保存的中间结果。删除发生后,后续缓存仍是在旧文本参与下算出的,可能继续受它影响;但把后面所有内容重算一遍,又会很贵。
这篇论文把修复变成一道预算题:只重算用户允许的一小部分后缀。作者提出 Semantic-Unit Refresh,用冻结的词向量估计哪些内容与下一个问题相关,再按消息、段落或句子等完整语义区域刷新,而非只挑零散的高分词。最值得注意的是,在相关性评分和 2% 重算预算完全相同的对照中,按区域刷新在 Qwen3-8B 和 Llama-3.3-70B 上的精确匹配率比逐词选择高出逾 80 个百分点。
作者称,在受控删除任务的五个模型上,该方法仅重算 2% 后缀便达到 89.6%—100% 精确匹配。它修复的是下一次回答所需的状态,并不保证缓存已被完整重建;效果数字也仍来自论文作者的实验。