Agent 每完成一步，常会把不断变长的任务记录重新交给模型。如果每次都从头读，时间和算力会迅速增加。前缀缓存会保存此前文字的中间计算结果，让模型从旧进度接着算；但内存满了以后，系统该删哪一份缓存，就成了实际成本问题。
Liu、Yu 和 Yang 分析了两家机构的生产日志，并在 GPU 高带宽内存和大型共享内存池两种场景中比较 14 种淘汰算法。结果颇反直觉：多数复杂算法比 LRU 改善很小，依赖访问频率的方法还常常明显更差。LRU 会先删掉最久没用的内容。它在这里有效，是因为缓存复用主要发生在同一会话的连续轮次之间：刚用过的上下文，往往很快又会用到；访问次数则更多反映会话持续了多久，未必能预测下一次使用。
不过，LRU 仍与 Belady 最优策略——假设提前知道未来访问、用来衡量理论上限的方案——存在明显差距。作者因此主张保留“最近使用”这个基础，再按场景补充规则，例如尽快降级只出现一次的前缀，或优先保护重算代价高的内容。论文尚未给出可直接推广到所有服务的万能策略，但足以提醒系统团队：算法更复杂，不等于缓存更省。