Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.023 — 2026-07-27
PAPER 约 1 分钟

KV缓存删除也该附带误差证明

随机抽样让 KV 缓存删除留下误差凭据,重点不是预测答错,而是判断错因。

大模型读长文时,会把前文的 Key 和 Value 存进 KV 缓存——像留下索引卡,避免每次都从头计算。显存不够时,系统通常按评分删掉一批卡片。问题是:删完以后,它无法判断自己是否恰好毁掉了关键线索。论文证明,对确定性淘汰而言,可以改动已删除的内容,让系统保留的信息和监测指标完全不变,真实误差却任意增大;在真实模型的构造实验中,误差甚至相差 64 倍。

作者改用已知概率随机保留部分低分项,类似民调抽样,再据此估计被删内容的整体影响,生成逐步的“误差证书”——即误差范围及其不确定性说明。作者报告其经验覆盖率为 0.97,且没有准确率损失。不过,它不擅长预测答案是否会错;模型自身的输出置信度更强。它真正有用的是分清错误来自缓存删除,还是模型本来就答不出:这项归因的 AUC 为 0.73–0.75,并能更有效地安排重新计算。


供稿材料 SOURCES — 1
01
Error Certificates for KV-Cache Eviction via Randomized Design arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-07-27 · 学术板块