长文塞不进显存，就像一张小书桌摊不开整套资料。这套 llama.cpp 方案把 Qwen-Flash-Next Coder 的少量、小型 MoE 专家——模型中分工处理不同任务的模块——放进显存，把多数专家留在系统内存，n-gram 数据则放在高速 SSD，以分层加载换取容量。发帖者称，8GB 显存配24GB内存可运行262K上下文；总内存约32GB也能运行，但要缩短上下文。
最需看清的是速度口径：作者报告约70 token/s的是 PP，也就是 prefill——模型读取整段输入的阶段；真正逐字生成的 TG（decode）约为8 token/s，并称瓶颈受 PCIe 3.0 数据传输限制。因此，“70词每秒处理超长上下文”不能理解成每秒生成70词。所用模型也并非“1 bit量化”：保留权重实际为3.5 BPW（每个权重平均占3.5比特），只是裁掉一半专家后，按原模型参数量折算为1.89 bit。以上运行效果来自 Reddit 发帖者自述；其还提醒，8GB显存下 CUDA 可能失败，可改用 Vulkan backend——一种跨厂商调用GPU的执行后端。