Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.054 — 2026-08-27
PAPER 约 1 分钟

混合线性注意力也能投机解码

TreeWY让混合线性注意力模型无需保存每条岔路的完整状态,也能验证多分支候选。

让 AI 一次试写几条不同的续句,再统一挑出正确的一条,通常能加快生成。问题在于,Gated DeltaNet(GDN,一种用固定大小摘要记住上下文的线性注意力)每试走一步都会改写内部状态;候选被否决时,系统必须回到岔路前。现有方案往往为每个候选保存完整快照,分支一多,显存很快吃紧。

TreeWY把整棵候选树的计算改写成一次三角方程求解,不再逐节点保存完整状态。验证结束后,它只沿最终被接受的路径重建一份状态,并以较小的“伪值矩阵”记录必要信息。换句话说,它把多分支投机解码——先批量猜若干 Token,再由主模型验证——带到了难以直接套用普通 KV Cache(逐 Token 保存中间结果)回滚方式的 GDN 混合模型。

作者在 Qwen3.5 35B 与 397B 的 vLLM 测试中称,该方法在接受长度基本不变时降低了投机阶段的循环状态内存压力;39 节点树的平均接受长度由三节点链的约 3.23 提升到 3.58。不过,更宽的树目前还没有带来吞吐量收益,相关实现也尚未并入 vLLM 主线。


供稿材料 SOURCES — 1
01
TreeWY: Speculative Verification for Gated DeltaNet Hybrids arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-08-27 · 学术板块