你和 AI 聊了很久，中途把一个简单问题交给便宜模型，看似省了一笔。问题是，新模型可能得把此前的系统指令、工具说明和聊天记录重新读一遍。Nhu Hoang 10 月 20 日刊出的测试文章讨论的正是这笔隐形账：模型路由——按难度、价格或延迟分配模型——若只比较单次调用价格，可能高估切换带来的节省。
关键在提示缓存：服务商会保存重复上下文的中间结果，让后续请求少做计算。据 OpenAI API 官方文档，缓存覆盖完整渲染后的上下文，不只是用户刚发的那句话。换模型后，原缓存通常不能直接沿用。Sumedh Bala 的公开实测更直观：同一份约 6.3 万 token（模型处理文字的基本单位）的提示先后交给 Sonnet 和 Haiku，Sonnet 再次请求能读取自身缓存；Haiku 首次请求的缓存读取量为零，并重新写入约 6.4 万 token。换句话说，路由器该算的是整段会话：只有模型价差足以覆盖重建上下文的成本，切换才可能划算；否则，让会话继续黏在原模型上，反而更省。原文摘要未披露完整实验设置与总体节省幅度。