像餐厅在客人点单前先备好可能用到的食材,MoE 推理也希望提前把“专家”搬到 GPU。MoE(混合专家模型)会为每个词元调用少数专用子网络;但显存放不下全部专家时,权重只能暂存在主机内存。若等到调用确定后再经 PCIe 搬运,GPU 就会停下来等数据。
Specter 的关键做法,是让目标 MoE 的 INT4 量化版本充当“草稿模型”。量化即用更少比特近似表示权重,因此它能常驻设备,并提前推演未来多个词元可能激活哪些专家。系统据此预取完整专家,再由目标模型验证输出;即使预测失误,也不改变最终生成分布,只会带来无效传输或额外等待。
作者称,在单请求、单 GPU 且显存受限的测试中,Specter 相比 SpecMoEOff 的每输出词元耗时平均加速 1.50 倍,最高 1.88 倍。它的价值不只是压缩模型,而是把量化模型变成“探路者”,为原本来不及隐藏的 PCIe 传输争取更长准备时间。