你可以把大模型扩容想成餐厅临时加开窗口：客人已经排队，新窗口却要先搬来整套设备，迟迟不能接单。推理服务也一样。新增实例必须启动程序，并把庞大的模型权重——训练后得到的大量参数文件——装入可用内存。这段“模型冷启动”若持续数分钟，系统就很难及时应对流量上涨或模型切换。
NVIDIA 于 2026 年 7 月 24 日发布的 ModelExpress（MX），试图缩短这段等待。它是 NVIDIA Dynamo 中负责模型权重分发与缓存管理的服务。核心思路很直接：新实例不必总从对象存储或本地磁盘重新搬运全部材料，而是向已经运行的兼容服务副本取货。需要先说明的是，本文性能数据全部来自 NVIDIA 官方测试，尚无第三方复现。
别再让权重绕远路
权重分发，就是把模型参数送到各个推理 GPU。ModelExpress 可通过 NIXL 使用 P2P GPUDirect RDMA，把权重从已有副本的 GPU 直接传到目标 GPU。
RDMA 是 Remote Direct Memory Access，即“远程直接内存访问”：一台机器可以直接读写另一台机器的内存，减少 CPU 和操作系统介入。放在这里理解，就是让两块 GPU 之间开一条更直接的搬运通道，避开对象存储、本地磁盘和主机内存中的冗余中转。
不过，“所有内容都在 GPU 之间直传”并不准确。除了权重，ModelExpress 还会复用 JIT Kernel cache artifacts——模型运行时已经编译好的计算内核缓存，免得新实例再次编译和预热。官方列出的缓存来源包括 Triton、DeepGEMM、TileLang、CuTe DSL 和 FlashInfer。这些缓存文件实际通过注册的主机内存缓冲区做 CPU 到 CPU 的 RDMA 传输。
1 分 44 秒，具体意味着什么？
NVIDIA 的测试环境是 8 张 B200 GPU、ConnectX-7、vLLM 0.23.0，并采用 TP=8。TP 是张量并行，表示把一次模型计算分摊到 8 张 GPU 上。在这套特定配置中，DeepSeek-V4 Pro 从进程启动到 API 可以接收请求，原本需要 8 分钟，使用 ModelExpress 后缩短到 1 分 44 秒。
其中，从现有服务副本传输模型权重和 JIT 内核缓存材料，用时不足 10 秒。但这只是传输环节，不等于完整启动只需 10 秒。剩余时间仍包括进程启动、加载及其他就绪工作。
这项结果也不是“任何模型从零启动都不到两分钟”。最快路径要求系统里已经存在兼容的服务副本，供新实例读取权重和缓存。它更像快速复制一个已经开工的窗口，而不是替第一个窗口完成从无到有的准备。
它为什么值得关注？
推理服务会根据请求量增加或减少模型实例，这就是扩缩容。若扩容需要等 8 分钟，新增算力即使已经到位，也无法立刻处理请求。ModelExpress 把优化重点放在权重和缓存的搬运路径上，直接瞄准了这段空等时间。
它也没有把所有环境押在一条路径上。按官方说法，系统可根据运行环境在 P2P RDMA、ModelStreamer、GDS 和默认的 host-staged POSIX I/O 之间选择并回退。ModelExpress 已原生集成 vLLM 和 SGLang，并支持 Dynamo、llm-d 等 serving frameworks——也就是承载模型、对外提供推理接口的服务框架。
NVIDIA 还提供了面向 RL post-training（强化学习后训练）的 receiver-driven 权重 refit 基础组件。rollout worker 可以经 NIXL，从 trainer ranks 拉取更新后的权重。说白了，是让负责生成训练样本的工作单元主动取得训练端刚更新的参数。不过官方只说核心组件已经具备、客户正在评估集成，并未公布强化学习训练提速多少。
局限与未知
- 1 分 44 秒来自 NVIDIA 的单一自测配置，不能泛化为所有模型、硬件和部署环境的冷启动时间。
- 最快方案依赖已有兼容副本；材料没有给出首个实例从零加载时的对应收益。
- 所有性能数字目前都缺少独立基准或第三方复现；官方标题中的“at the Speed of Light”属于营销表达，不应按字面理解。