让大模型回答更快,一种办法是先让小模块“猜”接下来的词,再由原模型统一验收。EAGLE-4就是这类推测解码方案:它用同一个Drafter(先提出候选词的轻量草稿器),根据请求批量、硬件和实际负载调整候选规模,目标是在不改变原模型输出分布的前提下减少生成时间。
首批公开数据来自项目方对Qwen3.8-27B的测试。最醒目的一组是在4张NVIDIA B300、单请求的vLLM环境中:吞吐量从每秒241.6个token升至722.8个,提速2.99倍;并发增至8时,提速降为1.70倍。这也说明推测解码并非始终获得同样收益。项目标题宣称快于DFlash2和DSpark,但现有材料没有给出对应的同条件对比数字。它已提供vLLM和SGLang插件,不过依赖带专用接口的固定版本,原版引擎尚不能直接使用。