你想在自己的电脑上运行一个超大模型，最先撞上的往往不是算力，而是“装不下”。模型权重需要占用 GPU 的高速内存，也就是 VRAM；加载时还可能先吃掉大量主机系统内存。现在，两项社区尝试正在同时推进：一边用定制 vLLM 把 DeepSeek V4 Flash 压进单张工作站显卡，另一边修复 llama.cpp 运行它时的崩溃与卡死。这意味着本地部署的重点，正从“能不能启动”转向“能不能稳定干活”。不过，目前证据都来自社区作者自测，并非 DeepSeek 官方结果，单卡能力与性能也尚无独立复现。
单卡是怎么塞进去的？
DeepSeek V4 Flash 属于 MoE（Mixture of Experts，混合专家）模型。它像一个拥有许多专业小组的机构：每次处理任务，只请其中一部分“专家”参与。这样，模型的总参数可以很大，单步计算量却更接近较小模型。
问题是，不参与当前计算的专家权重通常也得存放。S1 作者使用了一个定制版 vLLM-Moet。vLLM 是面向大语言模型的开源推理与服务引擎，主要优化显存利用和并发吞吐；定制版本则可以适配新模型结构或特殊的压缩格式。
据这名作者介绍，方案的关键是把 routed experts——每一步会被动态选中的专家——压缩到 2-bit，同时保留 fp4 experts。通俗地说，它用更少的数字位数记录大部分专家权重，以换取更低的显存占用。作者称，这让 DeepSeek V4 Flash 可以在单张 RTX 6000 Pro 上运行。
这项压缩是否明显损害模型能力，目前没有答案。材料没有提供原精度对照、任务评测或长期编码测试，因此不能把“装得下”等同于“效果无损”，更不能直接等同于“已经实用”。
显存装得下，加载仍不轻松
作者把上下文长度设为 130K 时，模型加载阶段约需 150 GB 系统内存。上下文长度就是模型一次能够处理的输入和历史文本规模；设得越长，KV cache 等运行时数据通常越占内存。
这里还要区分 VRAM 和系统 RAM。VRAM 在显卡上，直接供模型计算；系统 RAM 属于主机。模型可能先在 RAM 中拼装或转换权重，再把结果放进显存。因此，“最终进入 GPU”不代表整套过程只需要一张显卡。作者建议内存不足时使用 swap，也就是拿磁盘空间临时充当内存，但首次加载可能要等约 20 分钟。
作者称加载完成后可以把模型放进 GPU，但没有说明 RTX 6000 Pro 的具体型号和显存容量，也没有披露量化文件大小、实际上下文占用或是否存在 CPU offload。因此，这段自述不能解读为完整的 130K 上下文运行数据都常驻显存。
百余 token 每秒，先当作初测
S1 给出的单卡初测生成速度约为每秒 103.21 至 129.20 个 token；token 可以理解为模型读写文本时使用的小片段。其中 tg32 测试为 token/s。
这个数字看起来很高，但测试缺少提示词、并发量、采样参数、输出长度、软件版本和质量对照。另一项 ctx_pp 测试的波动甚至大于均值，说明结果还不稳定。现阶段，它更适合被视为“这套配置确实跑起来了”的线索，而不是可直接横向比较的正式基准。
同一作者还转述称，方案能在单张 RTX 5090 上运行 DeepSeek V4 Flash，并能用至少两张 RTX 6000 Pro 运行 GLM 5.2。但作者明确说自己没有测试。这两项说法来自同一开发者的 README，不能算独立验证。
llama.cpp 正在补“能跑但会卡”的坑
另一条路线来自 llama.cpp——一个常用于本地运行模型的开源推理项目。S2 作者使用的是一台混合五张 GPU、合计 96 GiB VRAM 和 125 GiB DDR4 内存的设备，并非单卡方案。
他称，DeepSeek V4 Flash 在 llama.cpp 上游主分支会确定性地卡住：当对话或代理任务出现分叉，程序会重复预填充数千个 token，而不是只处理发生变化的部分。随后，它还可能在实际约 1250-token 的逻辑深度下，错误报告已经超过 16K 上下文并崩溃。
作者给出的补丁会对分叉后的后缀执行 proper seq_rm，也就是正确移除已经失效的那段序列，让程序只重新处理差异部分。他声称，这同时消除了卡死和崩溃；在约 10 token/s 的速度下，实际使用体验也明显改善。
不过，这仍是作者自述。补丁正在请求维护者和其他用户复现，在进入上游或获得独立验证前，应把它看作待检验的第三方修复。
为什么值得现在看？
两条社区进展解决的是同一件事的不同阶段。定制 vLLM-Moet 先回答“怎样把超大 MoE 压进有限显存”；llama.cpp 补丁则处理“启动之后，怎样避免长任务卡死”。前者只有单名用户的单卡自测，后者使用五张 GPU，不能相互印证单卡结论或百余 token/s 的速度。
但它们共同显示，本地部署正在进入更具体的攻坚期：量化负责缩小模型，显存管理负责把数据摆放妥当，推理引擎还要正确处理长上下文、分叉和状态回退。真正可用，不只是一行日志显示模型加载成功，而是它能连续完成任务，并且结果、速度和稳定性都经得起复现。
局限与未知
- 两份材料均为社区帖子，没有 DeepSeek 官方发布信息，无法据此确认模型的正式名称、发布日期、参数规模或官方性能。
- 单卡结论、2-bit 压缩方法和百余 token/s 数据都只有一个独立信源，且缺少完整配置与质量对照。
- llama.cpp 的故障解释和补丁效果尚待维护者或其他用户复现。