Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.111 — 2026-10-23
PAPER HF 19 约 1 分钟

Specter用量化掩护MoE专家换入换出

Specter用量化版MoE预判专家调用,提前搬运权重以缓解PCIe等待。

像餐厅在客人点单前先备好可能用到的食材,MoE 推理也希望提前把“专家”搬到 GPU。MoE(混合专家模型)会为每个词元调用少数专用子网络;但显存放不下全部专家时,权重只能暂存在主机内存。若等到调用确定后再经 PCIe 搬运,GPU 就会停下来等数据。

Specter 的关键做法,是让目标 MoE 的 INT4 量化版本充当“草稿模型”。量化即用更少比特近似表示权重,因此它能常驻设备,并提前推演未来多个词元可能激活哪些专家。系统据此预取完整专家,再由目标模型验证输出;即使预测失误,也不改变最终生成分布,只会带来无效传输或额外等待。

作者称,在单请求、单 GPU 且显存受限的测试中,Specter 相比 SpecMoEOff 的每输出词元耗时平均加速 1.50 倍,最高 1.88 倍。它的价值不只是压缩模型,而是把量化模型变成“探路者”,为原本来不及隐藏的 PCIe 传输争取更长准备时间。


供稿材料 SOURCES — 1

← 返回 2026-10-23 · 学术板块