把大模型推理想成餐厅出餐:模型训练得再好,后厨调度不顺,服务仍会又慢又贵。10月24日,开源推理框架 vLLM 宣布,在 DeepSeek-V4.1-Flash 的 Decode——模型逐字生成回答的阶段——上,已逼近 DeepSeek 自研框架 DeepInfer。它吸收了 DeepSeek 开源的 Kernel(直接在芯片上执行计算的底层程序),并继续优化整套推理流程。
据 vLLM 工程博客,在 131K Token 上下文、batch size(同时处理的任务数)8至256的官方配置下,vLLM 在 GB200 上测得的每张 GPU 输出吞吐,与 DeepInfer 公布的整条性能曲线相差不超过6%。更值得注意的是,vLLM 使用32张 GPU 的 DEP32 配置,对照的是 DeepInfer 的64张 GPU 配置。这个结果说明,专用引擎的领先并非牢不可破:厂商开放底层算子后,通用开源框架可以很快吸收并追近。
不过,这还不是严格的同场比赛。vLLM 没有重跑 DeepInfer,而是拿自己的实测结果对照后者 README 图表中的数字;DeepInfer 当前也只支持离线推理,尚缺在线服务所需的部分组件。因此,6%以内更适合看作一条有分量的工程信号,而非已经独立复现的最终结论。