Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.118 — 2026-10-30
PAPER HF 256 约 1 分钟

扩散语言模型也要逐Token算功劳

DTCA把整段奖励拆到每个Token,帮助扩散语言模型学会谁真正有功。

像给团队发奖金,只看项目成败,却不区分谁贡献最大,大家很难知道下次该怎么改。扩散语言模型也有这个麻烦:它从残缺文本出发,反复去噪,同时修改多个位置;用强化学习(RL——根据作答结果获得奖励并调整策略)训练时,最终总分很难说明哪个 Token(文字的基本小块)真正帮到了答案。

DTCA 的做法,是观察一个 Token 被确定后,模型对其余空缺位置的预测信心提高了多少,再据此分配学习信号。为降低逐个估算的成本和波动,它先用离线生成过程统计贡献,再按词性归组。论文在 GSM8K 样本上的分析发现,动词带来的信心增益最大,其后是名词和专有名词;限定词、介词等较小。换句话说,它不只看词最后是否出现,还看这个词有没有帮助后续去噪。

作者称,在 LLaDA-8B-Instruct 上,DTCA 相比基础模型让 MATH500 最多提高 9.0 个百分点,GSM8K 最多提高 5.3 个百分点。这说明扩散语言模型的 RL 正从“整段打分”走向更细的逐 Token 归功;不过这些效果目前仍以论文自报实验为准。


供稿材料 SOURCES — 1

← 返回 2026-10-30 · 学术板块