像先替一份长文做浓缩笔记，却不知道读者稍后会问哪一句：删错细节，答案就找不回来。Latent Compaction想解决的正是这个难题。它压缩KV Cache——模型处理长文本时保存的中间结果——之后，再针对眼前文档临场优化这份缓存；模型本身的权重保持不变，也不提前偷看后续问题和答案。
具体做法分两步。它先用重要性、模型关注的位置和信息差异来挑选缓存条目，再让紧凑缓存模仿完整缓存的注意力输出，也就是模型从原文取回并汇总信息的结果。随后，它通过蒸馏——让简化表示模仿完整系统——继续调整全部缓存条目。训练只使用关于文档的通用提示，完成后可供多个问题重复使用。
作者报告，在RULER的一项实验中，该方法准确率为96.7%，同等缓存预算下KVZip+为40.0%。不过论文比较的是逻辑上的KV条目预算，并未测量实际显存节省或推理加速；它证明的是压缩后仍可补课，而非已经跑得更快。