Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.110 — 2026-10-22
PAPER H 11 约 1 分钟

加速扩散语言模型,先猜提交顺序

SPOT不再只猜填什么,还预测先填哪里,以无损投机解码加速扩散语言模型。

扩散语言模型写句子,像同时面对一排填空:它不仅要猜每格填什么,还要决定哪些答案可以先定稿。保守做法每轮只固定一处,质量稳,却要反复运行大模型;一次固定多处更快,又可能改变生成过程。SPOT瞄准的正是这组速度与质量的矛盾。

作者发现,真正难猜的往往不是词,而是提交顺序——哪些掩码位置(暂时留空、等待填写的地方)应当先固定。模型上一轮留下的输出分布,通常已经能提供不错的候选词,但未必能指出下一处该填哪里。SPOT因此让一个轻量草稿模型专门预测位置顺序,并把多种可能排列成候选树;主模型再用一次计算统一核验,接受与自身生成轨迹一致的最长路径。

这属于投机解码:先由便宜模型猜一批结果,再交给主模型验证。SPOT还用共享的 Gumbel 随机噪声处理非贪心采样,使树状候选在不同温度下也能精确验证,而不改变主模型原本的输出分布。作者称,它在六种扩散语言模型上都减少了主模型运行次数,且草稿模型可跨模型迁移;但所给原文中的关键加速数字缺失,因此这里不作量化判断。


供稿材料 SOURCES — 1

← 返回 2026-10-22 · 学术板块