Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.113 — 2026-10-25
NEWS 约 1 分钟

llama.cpp再省一截Qwen显存

llama.cpp为Qwen Flash Next删去多余掩码,消费卡最多可省4GB显存。

IMAGE — r/LocalLLaMA 日榜

显卡装模型,像往小行李箱里塞东西:少一块不再需要的“垫板”,就可能多放下一截模型或缓存。llama.cpp 的这项改动,针对 Qwen Flash Next 的 QSA 选择流程,不再分配 kq_mask。kq_mask 是一种注意力掩码——告诉模型哪些 token 可以互相参考;即使只是中间数据,推理引擎也要在计算图中为它预留显存。

PR 作者称,在全部 12 个注意力层都采用 QSA 的情况下,这块掩码并非必需;改动在 ub 4096 时可节省 2GB GPU/主机内存,ub 8192 时节省 4GB,分块处理还能再省 2.4GB。另一位测试者使用真实 UD-Q4_K_XL 模型,在 16K 上下文下得到与主分支逐字节相同的 logits——也就是模型下一步输出的原始分数;到 262K 上下文、ub 8192 时,计算缓冲区和锁页主机缓冲区各减少 4GiB。作者还报告解码速度提升 40%,但这些数字目前来自 PR 内测试,尚不是广泛验证的稳定结论。真正值得关注的是:对只有 16GB 或 24GB 显存的消费卡,这几 GB 可能直接决定更大配置能否运行。


供稿材料 SOURCES — 1

← 返回 2026-10-25 · 开源板块