长聊越聊越吃显存,就像草稿纸越写越满,消费级显卡很快便装不下。香港小团队 Blockway 为此开发了 32B 模型 Volundr 和配套的 Agens Engine——负责实际运行模型、调度计算与内存的软件。作者称,这套组合能在约 16GB 的显存预算下保留 262K 上下文,让长对话继续留在本地运行。
关键在于,Volundr 的 72 层中有 54 层不再保存不断增长的 KV cache——模型为避免反复计算而留下的“草稿”,而是维持较小的固定状态;过长内容则由引擎转存到系统内存。引擎还会记住对话上次停在哪里,追问时不用重读全部历史。作者展示的一镜到底测试中,一部长约 11 万 token 的小说首次读入约需 69 秒,随后回答追问只用 0.5 秒,显存峰值约 15.6 GiB。不过,这次演示实际使用的是 48GB 显卡,并人为限定为 16 GiB 预算;团队尚未在真正的 16GB 显卡上测试。因此,它是一个有价值的实测样本,但还不是完整的消费卡验证。