你和 AI 聊得越久，它需要保留的“草稿”越多。为了不让昂贵的 GPU 显存被这些草稿塞满，服务商可以把它们搬到 SSD。问题是，SSD 虽然装得下，却经不起无休止地写：硬盘可能容量和速度都还够，写入寿命却先耗尽。Gandalf 研究的正是这笔容易被忽略的账——怎样把 SSD 当作大模型的缓存仓库，又不让它在几个月内被写坏。
这里的“草稿”叫 KV cache，即模型读过一段文字后保存的中间计算结果。有了它，模型继续对话时不必从头计算全部历史。对话越长、并发会话越多，缓存也越大。论文作者估算，两段为期一天的 Claude Code 工作负载中，代表性混合模型每天会产生 81–240 TB 的 KV cache；峰值活跃数据达到 8.6 TB，已经超出实用的主机内存容量。
把缓存卸载到 SSD，相当于在高速工作台旁增加一个更大、更便宜的仓库。但闪存单元只能承受有限次数的擦写。作者估算，在这些生产级工作负载下，即使一块 30 TB 企业级 SSD，也可能在不到一年内耗尽额定总写入量；2 TB 设备甚至可能只撑数天。本文全部效果数字均来自 Gandalf 论文及其模拟、追踪实验，尚无独立信源交叉验证。
不是每份草稿都值得进仓库
最直接的节流办法，是观察历史访问次数：某份缓存被重复使用过，再允许它写入 SSD。这叫写入门控，即先判断缓存未来有没有价值，再决定是否落盘。
但作者发现，只看历史会漏掉一个关键信号：缓存来自哪一种注意力层。注意力可以理解为模型决定“生成下一个词时，该回看前文哪些位置”的机制。混合模型会同时使用 full attention、linear attention 或 sliding-window attention。前者可能回看完整前文；后两者只保留压缩状态或最近一段内容。
在追加式的多轮对话中，这些缓存的未来不同。full-attention KV cache 会在以后各轮反复使用；linear-attention state 通常只在紧接着的一轮使用一次，随后就被新状态替代。两份缓存过去都可能只命中过一次，但一份以后还会不断被读，另一份很快失效。仅凭访问次数，系统分不出来。
Gandalf 因此换了判断角度：把注意力类型当作未来复用模式的线索。它倾向于让短命的 linear 或 sliding-window 状态留在 DRAM——也就是主机内存；把更可能长期复用的 full-attention KV cache 写入 SSD。这样少写一次性数据，也避免它们挤走更有价值的缓存。
固定分流还不够
如果规则只是“linear 放内存，full attention 放 SSD”，系统仍可能失衡。短会话或并发会话很多时，linear state 会塞满内存，而 SSD 还有空位；长会话很多时，full-attention 缓存会挤满 SSD，内存却可能没有用足。严格分区会造成一边频繁淘汰、一边闲置。
所以 Gandalf 还会观察两层存储的容量压力。新缓存先进入 DRAM；内存满时，系统在“丢掉它”和“写入 SSD”之间比较成本。丢掉缓存意味着下次要让 GPU 重新计算；写入 SSD则消耗耐久度，还可能挤走已有数据。只有预计省下的重算成本足以覆盖写入和替换成本，它才值得进入 SSD。
未来当然无法直接看见。Gandalf 用历史会话估算：一段会话已经闲置这么久后，再次回来的概率有多高。缓存越可能很快被读到，保留价值越高；已经沉寂很久、占用空间又大的对象，价值越低。系统还可以设置目标使用年限：实际写入若跑在预算之前，写入代价就会上升，门控随之收紧。
这种决策面对的缓存可能多达数百万块。Gandalf 没有每次给所有对象重新打分，而只维护当前真正可能被移动或删除的候选项，并用堆结构寻找低价值对象。论文称，每次决策只需查看少量候选项的顶部，而不用遍历整个缓存。
7.3倍意味着什么
论文把 Gandalf 与 LRU、Marconi、Workload-aware、MeritKV、HotPrefix 和 LRU-K 六种缓存策略比较，并为原本不支持双层存储的方案补上 DRAM 与 SSD 层。工作负载包括阿里云 Bailian 的 Qwen Trace A、Claude Code 的 WEKA SemiAnalysis 追踪，以及含 40 万次请求、每个会话 100 轮的 AIPerf Trace。
按论文报告，Gandalf 将 SSD 预计寿命平均延长 7.3 倍，同时在多种工作负载和硬件容量配置下，对 cache hit rate——请求能直接找到可复用缓存的比例——影响可忽略。命中率重要，因为一旦未命中，模型必须重新处理前文，首个输出出现的时间和计算成本都会增加。
这项工作的价值不只是“少写一点”。它指出，缓存管理不能只看一条数据过去热不热，还要理解它在模型中的角色。相同的历史访问记录，可能对应完全不同的未来。应用层信息因此可以帮助存储系统把有限的写入额度花在更值得的数据上。作者还主张，这套设计可扩展到 High Bandwidth Flash（HBF）等其他闪存介质，但材料没有显示已经完成相应实现或验证。
局限与未知
- 7.3 倍是论文基于追踪回放得出的平均预计值。模拟器以 SSD 的额定总写入量除以每日写入量来估算寿命，并假设工作负载持续重复，不能直接等同于真实部署中的硬盘使用年限。
- 模拟器把写放大系数设为 1，没有建模垃圾回收、磨损均衡等 SSD 内部操作。作者承认这可能高估 Gandalf 和各基线的寿命；不同 SSD 型号与实际负载下能延长多少，仍需实机长期数据回答。
- “首个具备 SSD 寿命感知能力的 KV cache 卸载系统”是作者自称。现有材料不足以确认首创地位，也未给出“影响可忽略”等表述对应的完整阈值和原始数据。