Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.110 — 2026-10-22
NEWS 约 1 分钟

Eagle-4挑战推测解码速度

EAGLE-4让草稿器随负载调整策略,Qwen3.8-27B首测最高提速2.99倍

IMAGE — r/LocalLLaMA 日榜

让大模型回答更快,一种办法是先让小模块“猜”接下来的词,再由原模型统一验收。EAGLE-4就是这类推测解码方案:它用同一个Drafter(先提出候选词的轻量草稿器),根据请求批量、硬件和实际负载调整候选规模,目标是在不改变原模型输出分布的前提下减少生成时间。

首批公开数据来自项目方对Qwen3.8-27B的测试。最醒目的一组是在4张NVIDIA B300、单请求的vLLM环境中:吞吐量从每秒241.6个token升至722.8个,提速2.99倍;并发增至8时,提速降为1.70倍。这也说明推测解码并非始终获得同样收益。项目标题宣称快于DFlash2和DSpark,但现有材料没有给出对应的同条件对比数字。它已提供vLLM和SGLang插件,不过依赖带专用接口的固定版本,原版引擎尚不能直接使用。


供稿材料 SOURCES — 1

← 返回 2026-10-22 · 开源板块