Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.114 — 2026-10-26
PAPER H 11 · HF 23 约 1 分钟

扩散语言模型量化要看任务与时刻

同一套低精度配置并非处处合算:任务不同,最需要精算的去噪时刻也不同。

给扩散语言模型“降精度”,像给一场多轮修改分配校对时间:每轮都同样仔细,看似稳妥,却可能把算力花错地方。这类模型不是逐词续写,而是从遮蔽或带噪文本出发,反复去噪、补成答案。量化——用更少的二进制位计算——可以省内存、提速度,但也会引入舍入误差。论文发现,模型何时最怕这种误差,取决于它正在做什么任务。

以 LLaDA-8B-Instruct 的实验为例,研究者把 128 个去噪时间步分成 16 段。数学题 GSM8K 的敏感性明显靠前:第一段占任务相关差异的 27%,前四段合计占 55%;代码生成 HumanEval 则在中段更脆弱,步骤 32—71 的五段占 52%。这意味着,一套固定的精度安排很难同时适合不同任务。

为此,作者提出 T2Quant:不用标准答案,只看量化让模型判断改变了多少,以及这种改变会怎样影响后续生成,再把较高精度留给更敏感的任务与时刻。在固定平均位宽预算下,作者称其在三个扩散语言模型、六个基准上均提升平均准确率,相比所评估的最强量化基线最高增加 6.7 个百分点。


供稿材料 SOURCES — 1

← 返回 2026-10-26 · 学术板块