让小模型先替大模型猜几个词,再由大模型一次核对,通常能省时间。但在 Mixture-of-Experts(MoE,混合专家模型)里,每个词可能被分给不同的“专家”子网络。草稿即使很准,一旦把许多专家都叫来,加载权重和搬运数据的成本也可能抵消加速效果。
这篇论文提出 EcoSpec,在挑选待验证的草稿路径时,不只考虑候选词被接受的概率,还预测它会额外激活多少专家。它会优先选择既可能命中、又能复用当前专家集合的候选,从而减少论文所说的“专家散射”。方法只调整验证前的草稿选择,不改变大模型的标准验证规则。
作者在 DeepSeek-V3.1、Qwen3-235B-A22B 和 GPT-OSS-120B 上测试,报告相对现有投机解码基线最高分别达到 1.47×、1.62× 和 1.50× 的端到端解码加速。真正值得注意的是,它把“猜得准不准”之外的真实硬件成本,也纳入了解码策略。