你让语言模型写一句话，它看起来很流畅，底层却像一个只能逐字落笔的人：先生成一个小片段，再把它放回上下文，接着猜下一个。这里的“小片段”叫 Token——可能是一个字、词的一部分，也可能是标点。句子越长，模型要依次走过的步骤越多；模型越大，每一步也越费时间。
Felix Draxler、Robin C. Geyer 等人提出的 Parallel Language Models（PLMs，并行语言模型），想改掉这条硬性的流水线。它让模型在一次前向传播——也就是完整运行一次计算——中提出多个相互协调的 Token。重点不只是把现有模型跑快，而是从训练开始，就让语言模型学习并行生成。
以下结果均来自作者论文，尚无第二个独立来源交叉验证。论文覆盖 8000 万至 30 亿参数规模，但部分关键实验口径仍需结合完整附录判断。
难点不是同时写，而是彼此照应
传统的自回归模型每次预测下一个 Token，再把结果加入已有文本继续预测。这像逐字接龙：后一个字明确看见前一个字，所以容易保持一致，但步骤无法充分并行。
直接让模型同时猜几个位置，也不等于解决了问题。假设它要补出“今天下雨，记得带伞”，后面的“伞”需要知道前面谈的是“下雨”。如果各位置各猜各的，组合起来可能语法正确，却前后不搭。离散扩散模型会通过多轮去噪和修改来协调这些位置，但又把时间花在了反复修订上。
PLM 的切入点是给每个位置加入辅助随机变量。可以把它理解成提前发给各位置的一组编排信号：模型根据整组信号，一次联合预测多个 Token。严格说，这些潜在辅助变量并不是概括全句的“共享草图”。它们把原本在逐 Token 采样时才出现的随机性提前放进输入，并负责传递同时生成位置之间的依赖。
于是，生成不同随机变量，就会得到不同续写；同一组变量又能让多个位置彼此协调。模型不必枚举所有可能的 Token 组合——组合数量会随长度呈指数增长——而是学习从辅助变量直接映射到连贯文本。
一套模型，同时练两种写法
PLM 的训练像一场自我教学。模型先以自回归方式阅读真实序列，为每个 Token 分配辅助变量；然后切换到并行解码方式，只看前文和这些变量，尝试把一组 Token 还原出来。编码器与解码器共享主体权重，只使用不同的输入嵌入层，因此不必维护两套完整模型。
论文用一个变分下界来推导训练目标。这里的“变分”容易让人误会：它不是通常那种以近似后验分布为核心的变分推断，而是受逆自回归流等并行采样思路启发。最终，目标可以化成两部分之和：一部分训练普通的自回归预测，另一部分训练并行解码。前者教模型准确理解语言概率，后者教它把提前给出的随机性翻译成一段协调的文本。
作者还做了几项面向规模化训练的取舍。模型按区块学习并行重建，而不是一次重建无限长的序列，因为距离已知上下文越远，重建越困难。辅助变量采用嵌入空间中的固定单位向量，并按相似度分配给 Token；这让相近 Token 在几何上也有较自然的关系。训练时再加入“表示对齐”损失，让并行解码器尽早接近自回归编码器稍后形成的内部状态。论文称，这项对齐可用大约一半训练计算达到相同的解码质量。
真正生成时，仍要检查提案
PLM 并非闭眼接受整个并行区块。推理时，它先用随机辅助变量一次提出一组协调的 Token，再由模型的自回归编码模式按规则验证，只把通过检查的部分接到上下文后面。
作者采用 Quadratic Decoding，把多组提案和验证安排进一次加宽的模型调用，并利用 GPU 的并行计算消化额外工作。验证也分严格与宽松两种：严格模式力求贴近自回归采样；宽松模式还会接受编码器认为概率足够高的合理续写，以较小的质量下降换取更高吞吐量。
这也说明标题里的“一次生成多个 Token”需要加一句限定：模型可以一次提出多个 Token，但实际保留多少，要看提案质量和验证规则。有限模型容量下，离上下文越远的位置越容易出错。
数字显示了什么？
作者训练了 8000 万、1.5 亿、3.5 亿、13 亿和 30 亿参数的 PLM。预训练结果显示，其损失接近同样训练的自回归模型；随着模型和训练数据增加，一次调用能正确重建的 Token 数也会上升。严格验证下，这个数字从 3.5 亿参数模型的 1.95 个增至 30 亿参数模型的 2.26 个。作者据此拟合出幂律趋势：模型越大，并行能力越强。不过论文提供的材料没有在正文摘要中列出幂律指数与拟合质量。
后训练——即预训练后再进行指令微调和偏好优化——更能体现实际用途。13 亿参数 PLM 在 GSM8K 数学题上得分 32.6，高于同规模自回归基线的 27.9，吞吐量则从每秒 0.9 个问题增至 5.2 个，为 5.7 倍。HumanEval 编程测试中，得分从 12.8 升至 17.7，速度为 4.5 倍。IFEval 指令遵循测试出现了取舍：得分 45.1，低于基线的 48.2，但速度为 2.4 倍。作者概括称，13 亿参数模型在数学、编程和指令遵循任务上达到或超过同法训练的自回归模型，同时获得约 2.3 至 5.7 倍加速；逐项结果提醒我们，“达到或超过”并不代表每个设置都更好。
预训练续写比较中，作者还报告 PLM 位于自回归模型和离散扩散模型之外更优的速度—质量 Pareto frontier——也就是在同等质量下更快，或在同等速度下质量更高。但质量由 Phi-4 充当评审模型，并非人工逐条判断。
为什么值得关注
许多加速方案把自回归模型保留为最终裁判：较小的草稿模型先猜，大模型再验。PLM 更激进。它把并行能力写进训练目标，试图把语言模型从“天生只能逐个生成”改造成“可以成组生成”。
目前每次稳定接受的 Token 数仍不算多，但论文观察到并行度随规模上升。如果这一趋势能延伸到更大的模型，它触及的就不只是某个推理内核的优化，而是语言生成的基本节奏：未来的模型也许不再依赖漫长的逐 Token 接龙，而是在保持依赖关系的同时，以更大的区块向前推进。
局限与未知
- 所有效果论断均来自作者同一篇论文。具体硬件、批量大小、序列长度、解码设置及加速比口径会直接影响速度，不能把 2.3—5.7 倍泛化到所有部署环境。
- “接近自回归损失”没有给出统一误差范围；幂律增长也需要结合指数、不确定性和外推区间判断。30 亿参数仍远不足以证明趋势会延伸到产业级模型。
- 作者表示将公开代码，并称会在论文发表时发布；这是一项未来承诺，不等于代码目前已经可用或结果已经得到独立复现。