Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.106 — 2026-10-18
PAPER H 20 约 1 分钟

智能体删掉上下文,缓存却没有忘

智能体删掉旧文本后,缓存仍可能“记得”;新方法用少量重算定点修复。

你让智能体删掉一条已经作废的观察,它表面上删了,脑中的“草稿”却未必同步擦净。问题出在 KV Cache(键值缓存)——模型为避免反复计算而保存的中间结果。删除发生后,后续缓存仍是在旧文本参与下算出的,可能继续受它影响;但把后面所有内容重算一遍,又会很贵。

这篇论文把修复变成一道预算题:只重算用户允许的一小部分后缀。作者提出 Semantic-Unit Refresh,用冻结的词向量估计哪些内容与下一个问题相关,再按消息、段落或句子等完整语义区域刷新,而非只挑零散的高分词。最值得注意的是,在相关性评分和 2% 重算预算完全相同的对照中,按区域刷新在 Qwen3-8B 和 Llama-3.3-70B 上的精确匹配率比逐词选择高出逾 80 个百分点。

作者称,在受控删除任务的五个模型上,该方法仅重算 2% 后缀便达到 89.6%—100% 精确匹配。它修复的是下一次回答所需的状态,并不保证缓存已被完整重建;效果数字也仍来自论文作者的实验。


供稿材料 SOURCES — 1
01
Budgeted KV-Cache Repair for Evolving Contexts arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-10-18 · 学术板块