如果一种 AI 能同时修改一句话里的多个位置、生成得更快，却要花 16 倍算力训练，它还有没有经济性？这正是扩散语言模型面临的质疑。它从被遮盖的整段文字出发，多轮并行补全；主流自回归模型则像写句子一样逐词预测。新论文认为，广为流传的“16 倍”结论，把旧模型和不贴近实际使用的评分方式混在了一起。
关键问题在评分。旧研究使用 ELBO——真实文本概率的保守估计——并按随机顺序考查模型，但扩散模型部署时通常会优先补上自己最有把握的位置。作者改用模型实际解码顺序下的精确似然，再加入如今常见的分块扩散和 encoder–decoder 架构；后者把干净前文与待修补文本分开处理，以降低训练开销。作者称，这些调整会逐步缩小与自回归模型的算力差距，而且结论在超出拟合范围、算力高三倍的留出实验中仍保持。遗憾的是，供稿原文缺失各阶段具体倍数，暂时不能判断差距究竟缩到多小；但它至少说明，16 倍并非扩散路线不可改变的“物理常数”。