把模型压到 4 比特乃至更低，像用刻度更粗的尺子记录参数，能减少每一步搬运的数据；让它一次猜多个 Token（文本的基本单位），又有望少跑几轮生成。BitMTP想把两种省时办法放进同一套部署方案。值得注意的是，简单相加并不奏效：作者在 NVIDIA H20 上测试发现，直接改造的 BitNet b1.58-2B 在 W2A8（2 比特权重、8 比特激活值）设置下，速度和任务质量都不如逐个 Token 生成的基线。
问题在于，一次猜得更多，也意味着单轮计算更宽；系统还要验证哪些候选可以接纳，并同步 KV Cache——模型保存上下文中间结果的“草稿纸”。BitMTP因此联合训练逐词生成与成块预测，让同一模型既负责提出候选，也能按需验证；运行时再让已接纳文本、KV Cache 和 CUDA Graph 的执行状态保持一致。作者报告称，该方案在多种 NVIDIA GPU、BitNet 与 Bonsai 模型上能以相近任务质量提升生成吞吐，但供稿中的关键加速数字缺失，具体幅度暂不引用。