你拿到一台机器和一份开源模型，不等于马上就能开一家稳定、便宜的 AI 服务。模型像菜谱，真正面对海量订单时，还需要一套后厨系统：把请求分给不同芯片，安排先做什么、后做什么，并尽量避免重复劳动。10月20日，DeepSeek把这套“后厨系统”的核心——内部原生大规模推理框架 DeepInfer——开源了。
这让 DeepSeek 的开放从“允许别人取得模型权重”，继续走向“帮助别人把模型大规模跑起来”。本刊10月18日报道过 DeepSeek 更新 Flash 模型、开放权重并强化 Harness 与搜索工具；两天后的这一步，触及的是服务成本、响应速度和硬件适配。
开放的不只是模型，而是模型怎么跑
推理，是模型训练完成后处理请求、生成答案的阶段。推理框架则负责把请求调度到芯片上执行。它直接影响三个结果：用户要等多久，同一套设备能处理多少请求，以及每次调用要花多少钱。
据 DeepSeek 公告，DeepInfer集成高性能算子和经过深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay和结构化输出，并兼容英伟达与华为昇腾平台。
这里有两个概念值得拆开。分布式推理，是在一块芯片放不下模型或扛不住请求时，让多块芯片协同工作，框架负责模型拆分、通信和负载调度。推测解码，则是先用更轻量的方法猜出一段候选答案，再让主模型批量核验，目标是在不改变结果分布的前提下加快生成。至于 SWA Bounded Replay，现有材料没有解释其具体机制，不宜仅凭名称展开。
DeepSeek还同步开源了生产级 Token 编解码组件 deepseek-recipe。Token是模型处理文字时使用的基本单位；编解码组件负责在文字和 Token 序列之间转换。21财经援引公开信息称，它的处理逻辑与 DeepSeek 官方 API 对齐，可以减少同一段提示在自建部署与官方服务中被切分不同的问题。这项具体能力目前仍主要来自官方口径。
为什么这一步比“再开源一个模型”更深
开放权重解决的是“能不能拿到模型”，开放推理框架解决的是“能不能以合理成本把它长期运行起来”。对云厂商而言，后者直接关系到吞吐量——单位时间能处理多少 Token——以及延迟、设备利用率和调用价格。对国产算力生态而言，DeepInfer宣称兼容华为昇腾，意味着适配工作有机会从零散的项目经验，变成可共同使用和改进的框架能力。不过，实际效果仍要看不同硬件和负载下的测试。
DeepSeek称，已基于 DeepInfer实现 DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务，后续新模型的推理代码和优化也会持续在框架中更新。若这一承诺兑现，社区拿到的就不只是一份发布时的代码，而可能是一条随新模型演进的部署路径。
这次开放也改变了 DeepSeek此前不直接公开内部引擎的做法。据 DeepSeek GitHub介绍，该引擎源自较早的 vLLM分支，后来与内部集群基础设施深度耦合，团队也难以承担独立维护成本。此次公开的是生产系统所用推理引擎的核心代码，但在线服务封装、KV缓存系统和跨副本负载均衡等组件仍未完整放出。换句话说，后厨的核心设备开放了，整家餐厅的运营系统并没有原样交付。
一组亮眼数字，也是一组待核验数字
驱动之家转述的部署材料称，V4.1 Flash使用常见8卡机器承担 Prefill、64至128卡超节点承担 Decode。Prefill是模型先读懂输入的阶段，Decode是随后逐步生成答案的阶段。材料还称，系统可将 KV Cache保留72小时以上。KV Cache可以理解为模型读过内容后留下的“草稿纸”，命中缓存时能减少重复计算。
同一来源还给出单一集群每天155万亿 Token的服务吞吐，以及“按谷价计算、每卡每小时38美元”的整体收入。但材料没有披露硬件型号、负载结构、测试环境和完整计算口径，“谷价”和“收入”的含义也不清楚。因此，这些数字不能用来推算 DeepSeek的公司营收、利润或整体服务规模。
局限与未知
- DeepSeek提出，开放框架有助于降低算力成本和能源消耗，但目前材料主要表达目标与可能性，尚不足以证明不同机构部署后都能获得同样收益。
- 云厂商能否做到接近官方服务的性能和成本，甚至低于官方调用价格，取决于硬件、请求结构和调度能力，现有材料没有独立对比测试。
- “头部大模型企业中首个开放实际运行原生推理框架”的说法缺乏独立行业检索验证，不宜当作确定结论。
DeepInfer真正值得关注的地方，不在于又多了一个开源项目，而在于竞争边界向下移动了一层：从谁有模型，转向谁能把模型更快、更稳、更便宜地跑起来。它能否兑现成本与能耗优势，还要等待社区部署和独立测量；但推理底座开始成为公开竞争对象，本身已经是一个清晰的产业信号。