模型读长文时，会把前文的中间结果记进 KV 缓存——像留一份可快速翻查的笔记，免得每生成一个词都从头计算。Attention Matching 会压缩这份笔记，并给保留下来的内容加“注意力偏置”，也就是调高或调低读取优先级。问题在于，FlashAttention 和 vLLM 的分页缓存等现成高性能内核，没有地方接收这笔额外分数。
Utkarsh Kanwat 的做法，是把偏置直接“折进”Key，也就是缓存中的检索索引。每个注意力头只需拟合一个方向，再按偏置大小移动各个 Key，就能得到尺寸、维度均不变的普通缓存，无须修改模型生成查询的路径。这样，压缩缓存可以直接交给未修改的 vLLM。作者报告，在相同的逐头缓存额度下，Qwen3-4B 的 51 个问题全部与 Hugging Face 答案一致；Qwen3-14B 的 200 个 LongBench 样本中，180 个贪心生成结果一致。该方法并非精确等价：误差取决于未来查询在所拟合方向上的投影偏离 1 的程度，但它把一个需要专用内核的部署障碍，变成了标准基础设施能够接住的普通 KV 缓存。