本地跑模型时，长提示词像一摞等着读完的材料：AI必须先通读，才能开始回答。llama.cpp的一项CUDA优化，瞄准的正是这段等待时间。它把FFN——Transformer每层中负责处理特征、也较耗时的模块——里的两组矩阵乘法，与GLU门控计算合并执行，减少中间数据搬运和GPU调度开销。模型本身没有变，变的是计算安排。
供稿中的作者测试显示，在DGX Spark（GB10）上运行Qwen3.8-27B时，不同量化格式的预填充吞吐提高4.6%至7.4%；其中Q4_K_M从840.1升至899.9 tokens/s，增幅7.1%。作为对照，同一测试在RTX 5090上的增幅为1.9%至4.1%，说明收益会随硬件和量化格式变化。这里加速的只是预填充——模型读完整段输入并建立内部状态的阶段——不代表之后逐字生成也快了约7%。