Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.109 — 2026-10-21
NEWS 约 1 分钟

16GB显存撑起262K上下文

小团队改造模型与推理引擎,让32B模型以约16GB显存容纳262K上下文

IMAGE — r/LocalLLaMA 日榜

长聊越聊越吃显存,就像草稿纸越写越满,消费级显卡很快便装不下。香港小团队 Blockway 为此开发了 32B 模型 Volundr 和配套的 Agens Engine——负责实际运行模型、调度计算与内存的软件。作者称,这套组合能在约 16GB 的显存预算下保留 262K 上下文,让长对话继续留在本地运行。

关键在于,Volundr 的 72 层中有 54 层不再保存不断增长的 KV cache——模型为避免反复计算而留下的“草稿”,而是维持较小的固定状态;过长内容则由引擎转存到系统内存。引擎还会记住对话上次停在哪里,追问时不用重读全部历史。作者展示的一镜到底测试中,一部长约 11 万 token 的小说首次读入约需 69 秒,随后回答追问只用 0.5 秒,显存峰值约 15.6 GiB。不过,这次演示实际使用的是 48GB 显卡,并人为限定为 16 GiB 预算;团队尚未在真正的 16GB 显卡上测试。因此,它是一个有价值的实测样本,但还不是完整的消费卡验证。


供稿材料 SOURCES — 1

← 返回 2026-10-21 · 开源板块