Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.004 — 2026-07-08
NEWS 约 1 分钟

llama-server 可能白存了 KV 缓存

llama-server 恢复了数 GB 缓存,却因漏存元数据重新计算长上下文。

像是把工作进度存了档,重启后也成功读回,软件却因为找不到书签,决定从头再做。Reddit 用户 apollo_mg 报告,llama-server——llama.cpp 提供的本地模型服务程序——从磁盘恢复了 2.49 GB 状态,用时 1.23 秒;但下一次请求仍丢弃这些状态,重新处理约 10 万 token 的上下文,prefill(模型首次读入提示词并建立缓存)耗时约 17.5 分钟。

问题出在 KV 缓存——模型为避免反复计算而保存的中间结果——只存下了 token 和实际缓存内容,却没有持久化 slot.prompt.checkpoints。这份只活在进程内存里的元数据,负责告诉服务器该从哪里安全回退并继续计算。进程重启后,它变成空列表;服务器即使恢复了缓存,也无法找到可用检查点,只能全部重算。上述数字来自作者的一次发现性测试,配置与后续验证不同;材料未提供完整修复方案及其验证结果。


供稿材料 SOURCES — 1

← 返回 2026-07-08 · 开源板块