Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.006 — 2026-07-10
NEWS 3 信源 约 2 分钟

GLM-5.2 在小集群上继续压榨上下文

GLM-5.2 的本地部署账本,继续被小集群玩家往长上下文方向推进。

IMAGE — r/LocalLLaMA 日榜

你想让一个大模型在自己桌下跑,还要它一次读很长的材料,难点通常不是“能不能启动”,而是显存像桌面面积一样很快被草稿纸占满。这里的草稿纸就是 KV cache——模型续写时保存的中间状态;上下文越长,它越占地方。这几条实测都在补同一本账:GLM-5.2 放到 4×GB10 / DGX Spark 这类小集群上,长上下文、速度和量化到底怎么换。

SpaceRaisins 在 4×GB10 加 100G 交换机上称,用 TP4+DCP2 跑出约 360k 的 KV 池,标称 330k ctx,英文散文基准里 prefill 约 598 t/s、decode 约 22 t/s;日常 Pi 回合约 24 t/s,代码场景可到 25–35 t/s。另一位 anvarazizov 则把 GLM-5.2 753B MoE 做 Int4-Int8Mix,并用 NVFP4 4-bit KV cache,在 4×DGX Spark、100K context 下跑 Terminal-Bench 2.1,作者自述 63/89,即 70.8%,对比官方全精度 81.0%。但他也明说,这个差距混进了量化、上下文上限、token 预算和采样设置差异,不能只归因于 4-bit。

第三条是更激进的 REAP 量化:whiteh4cker 发布了 140GB 的 IQ2_XXS REAP 版 GLM-5.2-504B-Code-GGUF,主要面向编码测试。整体看,这不是一个“普通人该立刻照抄”的方案;它更像本地大模型玩家把账本又算细了一页:4-bit KV 能换来更长上下文,但稳定性、速度和能力损失仍要逐项实测。


供稿材料 SOURCES — 3

← 返回 2026-07-10 · 开源板块