扩散语言模型写句子,像同时面对一排填空:它不仅要猜每格填什么,还要决定哪些答案可以先定稿。保守做法每轮只固定一处,质量稳,却要反复运行大模型;一次固定多处更快,又可能改变生成过程。SPOT瞄准的正是这组速度与质量的矛盾。
作者发现,真正难猜的往往不是词,而是提交顺序——哪些掩码位置(暂时留空、等待填写的地方)应当先固定。模型上一轮留下的输出分布,通常已经能提供不错的候选词,但未必能指出下一处该填哪里。SPOT因此让一个轻量草稿模型专门预测位置顺序,并把多种可能排列成候选树;主模型再用一次计算统一核验,接受与自身生成轨迹一致的最长路径。
这属于投机解码:先由便宜模型猜一批结果,再交给主模型验证。SPOT还用共享的 Gumbel 随机噪声处理非贪心采样,使树状候选在不同温度下也能精确验证,而不改变主模型原本的输出分布。作者称,它在六种扩散语言模型上都减少了主模型运行次数,且草稿模型可跨模型迁移;但所给原文中的关键加速数字缺失,因此这里不作量化判断。