你让 AI 读一本很长的书,它会把读过内容的中间结果留在 KV Cache——一张避免反复重算的“草稿纸”上。可文章越长,草稿纸越占显存。Fractal KV 的思路不是继续删内容或降低精度,而是把已经量化成字典编号的缓存,编码为一串低维坐标,做成可原样还原的符号档案。这里的“无损”只针对量化后的编号,并不意味着恢复量化前的数值。
最有意思的是,这份档案不只是压缩包。它利用分形编码的自相似结构,支持追加、随机读取,还能直接在存储坐标中寻找相似片段;命中后只解码对应上下文,不必展开周围内容。作者也明确说,主要压缩率来自前面的向量量化,分形编码的体积与普通位打包相近,价值在于把存储同时变成索引。
论文在 GPT-2、1024-token 上做了受控实验,并保留少量精确缓存;作者报告,给更脆弱的 key 分配更多编码预算、给 value 较少预算时,困惑度增加 11.2%。因此,这项工作的意义不是取代量化,而是回答量化之后的数据怎样无损归档、原位检索,为长上下文内存优化补上一条不同路线。