Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.108 — 2026-10-20
PAPER H 50 约 1 分钟

2比特KV缓存要同时旋转与校准

RoLaQ把旋转与范围校准一起做,让MLA的KV缓存压到2比特时少丢精度。

让 AI 读很长的内容,它会把中间信息存进 KV Cache——一张避免反复重算的“草稿纸”。MLA(Multi-Head Latent Attention)本已把这张草稿纸压成共享的低维表示;若再降到 2 比特,每个数只剩四个档位,显存更省,但误差会同时干扰“该看哪里”和“读出什么”。

RoLaQ 的关键是把旋转与范围校准一起学。旋转相当于换个坐标系,让难以量化的极端值分散;范围校准则决定四个档位覆盖多宽。论文发现,误差方向并非同等重要:一半方向承载了键和值投影总能量的 62%—75%;而固定旋转和阈值后,只调整重建增益,也能让 DeepSeek-V2-Lite 在 8K 文档上的下一词预测 KL 误差降低 52%。因此,两项不能各做各的。

作者称,RoLaQ 在三个 MLA 模型、六项基准上均取得所比较 2 比特方案的最高平均准确率;不保留高精度 token 时,比最强基线高 1.1—3.8 分。校准约需一张 A100 GPU 运行 30 分钟,模型权重无需改动。


供稿材料 SOURCES — 1

← 返回 2026-10-20 · 学术板块