Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.120 — 2026-11-01
NEWS 约 1 分钟

vLLM夜版加入PLE磁盘卸载

vLLM 夜版为 PLE 加入磁盘卸载,以读取延迟换取更低的显存和内存占用。

IMAGE — r/LocalLLaMA 日榜

部署大模型像收拾一张太小的书桌:显存和内存摆不下所有资料,就把不常用的部分留在 SSD,需要时再取。vLLM——负责加载大语言模型并处理生成请求的开源推理引擎——夜版现为 Qwen4Exp 的 PLE 表加入这条“容量换速度”的路径。夜版是从最新代码频繁构建的测试版本,能较早试用功能,但稳定性和兼容性通常不如正式版。

启用 disk_offload 后,PLE 表不再整体常驻 GPU 显存或锁页主机内存,而是保留在 safetensors 检查点文件中。模型每一步生成时,只按当步需要的 n-gram ID 读取对应行,再复制到固定的 GPU 缓冲区;BF16、FP8 和 NVFP4 格式都可沿用。好处是降低常驻容量要求,让资源吃紧的机器多一种部署选择。代价也很直接:磁盘读取、数据传输和同步可能增加等待。供稿中的代码讨论还指出,实际节省和性能影响尚未测量,因此它目前更适合试验,而非把收益视为定论。


供稿材料 SOURCES — 1

← 返回 2026-11-01 · 开源板块