模型读得越长，留在显存里的“工作笔记”就越厚。KV 缓存正是这份中间记录；用 SVD（把大数字表近似拆成更小的表）压缩它能省空间，却也会因舍弃信息而损伤回答。新论文提出一条更轻的修复路径：冻结负责生成的解码侧，只微调把上下文压进低维表示的编码侧。
在 Qwen2.5-VL-3B-Instruct 上，作者分别为三种方案调好学习率，并各跑三个随机种子。编码侧单独微调后，在 MME 和 TextVQA 上与只调解码侧、两侧全调没有可区分的准确率差异，同时训练参数仅为全量修复的三分之一；AdamW 优化器状态实测占用也从 1.72 GiB 降至 0.57 GiB。这个结果还在两个纯文本模型上得到复现。
论文更值得注意的提醒是：若所有方案共用同一学习率，编码侧方案会显得明显领先，甚至通过三次实验的显著性检验；各自调参后，这种优势便消失，只剩“效果相当但成本更低”。不过，多模态实验只严格覆盖一个压缩比例，而且各方案已达到未压缩基线的 98%—100%，更激进压缩下是否仍能持平，尚未确定。