把超大模型塞进一张显卡，有点像小厨房放不下所有食材，只能用到哪样再去仓库取。MoE（混合专家模型——每次只调用部分“专家”模块）也会遇到这个问题：显存装不下的专家要放在主内存，用时再经 PCIe 搬进 GPU；频繁搬运会让计算停下来等数据。
Specter 的关键做法，是在显卡上运行一个轻量的量化草稿模型——用更少空间保存参数的预测模型——提前猜出未来几步可能调用哪些专家。系统于是能趁当前计算尚未结束，预先安排专家搬运，让传输和计算尽量重叠；正式模型随后再校验预测。作者称，在单请求推理中，Specter 每生成一个词元的平均耗时较现有先进系统加速 1.50 倍，最高 1.88 倍。它的价值不只是一组速度数字：量化腾出的空间被用来换取更长的预判窗口，为普通单卡运行超大 MoE 提供了一条新的系统优化路线。不过，现有材料未披露具体硬件、模型和预测失误带来的额外开销。