Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.121 — 2026-11-02
PAPER 约 1 分钟

扩散语言模型也要量化KV缓存

扩散语言模型会反复改整段文字,旧缓存本就可能过时,量化不能只管压缩误差。

像反复修改一份整段草稿:中间补出一个词,前后内容的理解也可能跟着变。扩散语言模型就是这样多轮补全文本。为了少做重复计算,它会复用 KV Cache——模型暂存的中间结果;再用量化把数字精度调低,还能进一步省内存。问题在于,双向注意力会同时参考前后位置,缓存尚未量化时就可能已经过时,传统自回归模型的量化办法因此不能直接照搬。

作者把误差拆成两层:复用旧缓存产生的误差,以及低精度保存带来的量化误差。其方案 dLLM-KVQ 先用 TRACE 从“问题—答案”数据重建逐步揭开被遮住词语的生成轨迹,再按层挑出对输出和注意力更重要的 K 缓存项保留高精度;V 缓存则照常低比特量化。作者报告,在 LLaDA 与 Dream、四项任务的 4-bit 和 2-bit、多种缓存设置中,该方法的平均成绩均为参评量化方案最高。核心提醒很朴素:压缩一份本就带偏差的缓存,不能只看压缩后像不像原缓存,还要看模型最后怎么作答。


供稿材料 SOURCES — 1
01
KV Cache Quantization for Diffusion Language Models arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-11-02 · 学术板块