你有一台配 RTX 4090 的游戏电脑，显卡内存只有 24GB，却想运行一个以数千亿参数计的大模型。常规做法像要把整座仓库塞进一个房间，容量从一开始就对不上。Xolotl 的思路是：不强求全部权重进入显存，而是把它们分散到显存、系统内存和固态硬盘，计算需要哪部分，再临时搬哪部分。
项目作者称，这套基于 Strata 的推理引擎能在单台游戏电脑上运行 DeepSeek-V4.1-Flash 552B，并达到约 27 tok/s 的生成速度。这个数字很醒目，但目前所有性能与测试结果都来自作者的一篇 Reddit 帖文，没有可复现日志、完整测试参数或第三方验证。
“单张 4090”不等于只靠一张显卡
作者使用的机器包括一张 RTX 4090 24GB、Ryzen 7 5700X、90GB DDR4 内存和一块 NVMe 固态硬盘。模型权重分别放在 VRAM、pinned RAM 和 NVMe 中。
VRAM 就是显卡直接使用的显存，速度最快，但容量最小。Pinned RAM——固定内存——是不会被操作系统换出的系统内存，GPU 可以更高效地与它交换数据。NVMe 则提供更大的存储空间，但速度和延迟仍明显不及显存与内存。
因此，“单张 4090 跑动 552B”更准确的理解是：4090 负责主要计算，90GB 系统内存和 NVMe 共同承载模型。它不是把 552B 权重全部塞进 24GB 显存，而是用多级存储换容量。
需要什么，就搬什么
DeepSeek-V4.1-Flash 属于 MoE 路线。Xolotl 不在每次生成时读取所有权重，而是按 token 调入当下需要的 experts——也就是该 token 实际调用的权重模块。
可以把它理解成在书桌、书架和仓库之间取资料：常用内容留在桌面，次常用内容放在身后的书架，其余存进仓库。这样，小书桌也能利用远超自身容量的资料。代价是，只要取放太频繁，等待搬运的时间就会压过真正计算的时间。
这正是 Xolotl 最值得拆解的地方。异构与分层推理并非凭空增加显存，它把“装不下”的容量问题，改写成了“能否及时搬到”的带宽与调度问题。本刊 10 月 4 日介绍 Strata 时，也曾提醒社区速度报告缺少统一基准。Xolotl 自称沿用 Strata，并把 NVMe 纳入分层，因而更依赖权重调度是否足够精准。
据 Xolotl GitHub 仓库的项目说明，这个项目最初名为 Strata-DSV4.1，专门适配 DeepSeek-V4.1；后来增加 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B，才改名为 Xolotl。作者称，它保留 Strata 的核心引擎、服务端和计算内核，并在此基础上增加约 7.1 万行代码。
27 tok/s 应该怎么看？
作者报告的 decode 速度约为 27 tok/s。Decode 是模型随后逐个生成 token 的阶段。另一个数字是 180—320 tok/s 的 prefill：prefill 指模型先读入并处理提示词。两阶段面对的瓶颈不同，不能把数字直接混在一起比较。
帖子还称系统支持 512K context，也就是一次推理可处理的上下文长度；实机测试得到 21/21 HumanEval、10/10 tool calls，以及 3/3 agentic bug-fix loops，均通过开启 thinking 的真实服务器完成。不过这些样本很少，任务定义也没有披露，不能据此推断模型的整体编程、工具调用或代理能力。
作者已经发布一个 152 GiB 的 DeepSeek-V4.1-Flash-GSQ-Uncensored 量化模型。量化是用更紧凑的数值形式保存权重，以缩小体积。这里的 “uncensored” 是作者自己的命名；帖子提到的处理可能改变模型行为，因此其测试成绩也未必能代表原始模型。
这个“552B”也有口径问题
据 DeepSeek 技术报告和 Reddit r/LocalLLaMA 的相关讨论，552B 指 backbone parameters，即主干参数；另有约 196B Engram 参数。若把不同组成部分全部计入，总量接近 748B。因此，“完整 552B”采用的是主干参数口径，并不等于模型文件中所有参数的总和。这个争议不影响分层搬运庞大权重的工程难度，但会影响读者对模型规模的理解。
为什么值得关注
Xolotl 展示的不是“消费显卡突然拥有服务器级显存”，而是一种更现实的交换：让显存、内存和硬盘协同工作，以数据搬运和调度成本换取模型容量。如果作者报告的速度能够被复现，它会说明本地运行超大 MoE 模型的门槛，不只取决于显存大小，也取决于系统能否让有限带宽花在真正需要的 experts 上。
局限与未知
- 27 tok/s、180—320 tok/s、512K context 和全部测试成绩均为作者自报，目前缺少复现日志、测试参数与独立验证。
- 作者称正在下载体积为 510GB 的 DeepSeek-V4.1-Flash-1017，并根据相同 architecture、config 和 tokenizer 推测吞吐量相同；但权重不同，这一速度尚无实测确认。
- 作者预计数日内发布 1017 的 uncensored 量化版本。这仍是计划，不是已经交付的成品。