你让 AI 围绕同一份长文档反复答题，每次都重读很浪费；但若直接撕掉部分“笔记”，答案也可能跟着变差。KV-Surgeon 针对这个取舍：先离线压缩一次 KV 缓存——模型读完文字后留下的中间笔记——再把缩小后的缓存用于后续查询，以节省显存和响应成本。
难点在于，缓存条目不能孤立地判断。注意力会用 Softmax 把相关性分数归一成总和为 1 的权重；删掉一项，就像少一个人分蛋糕，所有剩余份额都会重算。KV-Surgeon 用校准数据建立一个二次近似：每次准备删除条目时，先估算其余条目经过调整能补回多少误差，再决定删谁，并同步补偿幸存条目。换句话说，它不是“先删完、再抢救”，而是让可补偿程度直接参与筛选。
作者称，在 QuALITY、LongHealth 和 Long Code Arena 上，面对 4B 至 30B 参数的稠密及混合专家模型，该方法在所有受测压缩比例下都改善了成本—准确率取舍；某一压缩设置下，问答准确率比此前方法最多高 4 个百分点。更快版本据称只需其五分之二成本，仍超过此前最佳结果。