你让 AI 写一段话，它通常像打字员一样，从左到右一个词元接一个词元地输出。扩散语言模型（dLLM）走的是另一条路：先铺出一份有待修改的答案，再经过多轮“去噪”，并行确定其中多个部分。它有机会更快，但也可能反复修改同一份草稿，把省下来的时间重新耗掉。
ORL 想解决的正是这种返工。项目团队称，LLaDA-2.1-mini 配合 ORL 和 NVFP4，在单张 RTX 5090 上跑出了每秒 2,788 token 的峰值。token 是模型处理文字的基本片段，可能是一个字、半个词或标点，因此这个数字应译为“词元/秒”，不能直接理解成每秒生成 2,788 个自然语言词。
先把限制说清：目前这些结果都来自项目方的一篇 Reddit 发布帖，尚无材料中的代码仓库链接、许可证信息或第三方复测可供交叉核验。2,788 也只是特定基准、单请求且 batch size 为 1 时的峰值，不是任意提示词上的平均速度。
真正的办法，是让模型学会少返工
ORL 全称 On-Policy Residual Learning，更准确的中文是“在策略残差学习”。这里的 on-policy 不是泛指边运行边学习，而是说：训练时直接采用当前模型自己生成的中间轨迹。
可以把它想成修改文章。普通做法可能每一轮都像重新起草；ORL 则保留上一轮预测，把它当作“残差上下文”，只继续修正仍不确定的部分。这样一来，模型有机会在每轮确定更多 token，用更少的前向计算完成答案。
麻烦在于，草稿也是模型自己写的。随着模型在训练中变化，它犯错和修改的方式也会变化。如果只拿旧模型预先生成的草稿训练，模型在真正推理时看到的中间状态就可能不同。ORL 因此让当前模型生成“新鲜轨迹”，再用这些轨迹训练，尽量复现推理阶段实际会遇到的残差状态。
据 ORL 研究团队与 arXiv 材料，研究者先把现成的 Qwen3 改造成扩散语言模型，再让它沿自己真正会走的生成路径学习。方法移植到 LLaDA-2.1-mini 时，训练约使用 36 个 H100 小时和 420 万条模型自生成 token，数据量约为此前 LLaDA 配方的十分之一。最值得注意的因此不只是显卡跑得快，而是模型从自己的草稿与返工轨迹中学会了少改几轮。
还要教它：每一轮都更确定
只监督最终答案，并不会自动让模型更快收敛。一个模型即使最后答对，也可能在此前多轮里犹豫不决。
ORL 为此加入 Adjacent Entropy Contraction，可理解为“相邻步骤的熵收缩”。熵在这里衡量模型有多不确定：候选越分散，不确定性越高。这个训练目标要求连续两次去噪之间，不确定性更快下降。说白了，不只是要求最后交出正确答案，还要求每次修改都取得明确进展。
这两部分各管一件事：在策略训练让模型练习真实推理时会遇到的草稿状态；相邻熵收缩则推动它在连续步骤中更快拿定主意。
2788之外，速度证据怎么看
项目方还报告，ORL 在 QwenDLM-4B 上带来最高 6.9 倍的端到端吞吐提升，并称生成质量相当或更好。“端到端”意味着统计完整生成过程，而不只是某个局部算子的速度。在单请求 H100、准确率匹配的比较中，ORL 据称比 DFlash speculative decoding 快 1.74 倍。
另一个更大的配置是 DiffusionGemma 26B MoE 配合 ORL 和 NVFP4，在 8 张 B200 上达到每秒 7,708 token 峰值。MoE 是混合专家模型；这里更重要的是别把两组数字混在一起：7,708 使用八张 B200，不能写成单卡 5090 的成绩。
NVFP4 则是面向 NVIDIA 硬件的 4 位低精度数值格式。它以更少的显存和计算换取速度，但也需要控制低精度带来的误差。因此，2,788 这个结果属于“特定模型、特定数值格式、特定硬件和特定基准”的组合成绩。
为什么值得继续关注
扩散语言模型的吸引力，在于它不必严格逐词排队生成，而能并行完善多个位置。ORL 把注意力从“每一步算得多快”转向“总共能少走多少步”。这对单张高端显卡上的本地生成尤其有意义：如果质量能够维持，减少返工往往比单纯堆硬件更有复现价值。
项目方称，模型、训练代码、评测流程和推理引擎 dlmrt 均已开源。若这些材料完整可用，外部研究者便有机会检查训练与测速口径，并尝试把方法移植到其他扩散语言模型。
局限与未知
- “最高 6.9 倍”“质量相当或更好”等说法缺少具体基线、数据集、质量指标、提示长度、输出长度和计时口径，暂时不能外推为普遍表现。
- 所有性能数字目前都是项目方自述的单请求结果；峰值不等于日常平均速度，也不代表并发服务能力。
- 供稿末尾的方法说明被截断，开源声明也未由仓库与许可证信息验证。真正的复现价值仍要等待代码审阅和独立测试确认。