让 AI 先读完一份超长文档再回答，答案还没开始生成，显存就可能先被“准备工作”占满。因为模型在预填充阶段——也就是正式回答前处理整段提示词——要建立 KV Cache（保存中间结果、避免之后重复计算）。TideKV瞄准的不是最终缓存有多大，而是建立缓存那一刻的峰值。
它把提示词切成小块，却不急着边读边删。具体来说，TideKV让一个网络层依次看完所有文本块，只让当前层保留完整缓存；等这一层看过全文，再淘汰不重要的内容，然后进入下一层。这样既避免所有临时数据同时堆进显存，也减少因过早删除而错过全文关系的风险。
作者报告，在A100上处理64K上下文时，TideKV将缓存构建期间的瞬时显存占用降低83.89%；在RTX 4090上，首个词元等待时间仅增加1.06%，并可完成128K预填充。它在Jetson上也完成了128K，而对照的预填充后压缩方案在两类受限平台上均显存不足。上述效果来自论文实验，尚未见独立复核。