把训练好的 AI 模型真正跑起来，既要速度，也要少占资源。Paddock 做的正是这层工作：它是一套用 Rust/C++ 编写的推理引擎——负责加载模型并执行生成计算。开发者此次开放了内部仓库，自研 CUDA 内核（直接在 NVIDIA GPU 上运行的底层程序）也包括在内，并允许用户在 MIT 与 Apache-2.0 许可证间任选其一。
Paddock 打包为单个可执行文件，可加载 GGUF 和 safetensors 两种模型权重格式，并提供 OpenAI、Anthropic 风格的兼容接口。开发者称，公司每年用它处理约 3000 亿 token；在单张 RTX PRO 6000 上运行 Qwen3.8-27B FP8、关闭推测解码时，它在 13 组测试中均快于 vLLM，幅度为 1.02～1.19 倍。这些成绩来自项目方测试，提升并非都很大。
目前边界也很明确：它只支持 CUDA，以及 Windows 和 Linux；一张 GPU 只能运行一个模型，尚不支持多卡张量并行，也不支持 Mac、ROCm 或 Vulkan。换句话说，这次开源最值得关注的，不是一个已经覆盖所有设备的通用方案，而是一套经过内部实际负载使用、连底层优化代码也公开的部署工具。