Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.118 — 2026-10-30
PAPER H 1 约 1 分钟

提示缓存接错了,账单会悄悄上涨

缓存明明接上了,却可能一次也没命中:答案照常生成,费用和延迟却在暗涨。

像是厨房备好了常用配菜,厨师却每次都重新切一遍:饭照常上桌,浪费藏在后台。提示缓存(Prompt Caching)本应保存重复提示的中间结果,减少重算;但提示顺序、标记或接口参数稍有偏差,就可能无法命中缓存。系统通常不报错,答案也看不出异常,账单和延迟却会持续增加。

研究者检查了 10 个流行开源智能体系统中的 120 个相关缺陷,发现 97 个出在请求构造,另有 23 个是缓存用量统计错误。更值得警惕的是,其中 108 个没有引发运行错误,常规正确性测试很难发现。团队因此开发 CacheLint:它用 CodeQL(分析代码结构的工具)定位缓存调用,再检查服务商规则、提示前缀是否稳定,以及用量统计是否正确。

据作者报告,CacheLint 在 571 个真实智能体项目中发现 32 个此前未知的问题,精确率为 0.86;其中 21 个获维护者确认,18 个已修复。它提醒工程团队:吞吐正常、回答正确,不等于缓存真的在工作;命中率、延迟和计费数据也应成为上线检查的一部分。


供稿材料 SOURCES — 1

← 返回 2026-10-30 · 学术板块