让模型写一句话时，普通训练只让它猜紧接着的一个词；多 Token 预测（MTP）则要求它顺手猜更后面的几个词，像是一次多走几步。这本可帮助模型学得更好，也能服务推测解码——先批量提出候选词，再由主模型统一核验，从而减少生成轮次。但 Soft-MTP 作者认为，标准 MTP 的训练梯度里混入了一股低信噪比的“杂音”，而且模型越大，干扰越明显。
作者把 MTP 的交叉熵梯度精确拆成两部分：一部分是有用的 KL 自蒸馏，让预测更远位置的分支靠近模型自己的下一词概率分布；另一部分就是会掩盖前者的残差。Soft-MTP 的做法很直接：复用已有的下一词与多词预测计算，只把 KL 自蒸馏信号传回去。作者称，这只需一行代码改动，不增加参数，也没有可测得的额外开销，还兼容 DeepSeek 和 Meta 风格的 MTP。
在 1.67 亿到 12 亿参数的实验中，作者自述 Soft-MTP 在所有规模上都降低了下一词预测的困惑度——衡量模型对正确答案有多“不确定”的指标——并带来更快的推测解码和更高的零样本准确率；从 6.89 亿参数起，多词预测困惑度也更低。它是否能在更大模型和更多训练设置中保持优势，现有材料尚未披露。