Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.044 — 2026-08-17
PAPER 约 1 分钟

扩散草稿一次长出整棵树

DARTree让扩散草稿并行长出候选树,试出比单线草稿更激进的无损加速。

让 AI 写下一段话,常规做法像逐字接龙:每生成一个 Token——可以理解为一个词或词片段——才能继续下一个,很难把计算并行起来。投机解码会先让较便宜的“草稿模型”猜一段,再交给正式模型批量核验;DARTree 更进一步,不只押一条草稿,而是一次铺开多条树状分支,增加连续猜中的机会。

难点是,扩散式草稿模型虽能同时猜出一整块 Token,各位置却未必充分参考同一路径前面已经选了什么。DARTree 用已有的自回归校正头——沿候选路径补回前后依赖的小模块——按树的深度成批评估多个分支。它先并行长出一棵固定宽度的“大树”,最后再统一剪成供正式模型核验的小树,避开逐节点扩展带来的串行等待,而且无需额外训练。

作者报告,在七个数学、代码和对话基准、四种模型与温度设置中,该方法平均接纳长度和加速均为最高;单轮最多接纳 12.97 个 Token,较 DFlash 多 98.6%、较 Domino 多 27.9%,相对本地实测的常规自回归解码最高加速 9.73 倍,同时保持目标模型原有输出分布。


供稿材料 SOURCES — 1

← 返回 2026-08-17 · 学术板块