先把等待出字前的活干快一点
你把一大段材料交给本地 AI，按下发送后，它不会立刻回答。模型要先读完整段提示词，建立内部状态。这个阶段叫 Prefill（预填）；它越快，长提示词提交后开始出字前的等待通常越短。
llama.cpp 是让量化大模型在个人电脑等设备上运行的开源推理项目。它刚合并的 PR #31188，瞄准了 MoE（混合专家）模型预填时的一段底层计算。不过，现有材料只能确认优化方案，无法印证标题所说的“快 17%”。
把三道工序并成一道
这次改动针对 CUDA——英伟达 GPU 的并行计算平台——后端的 MMQ 路径。按照 PR 作者的说明，MoE 专家前馈网络原本要完成 gate、up 两次矩阵乘法，再执行 GLU 门控运算；现在三步被融合进同一次 mul_mat_q 启动。
可以把它理解为厨房不再把食材依次送过三个分开的操作台，而是在一个工位连续处理。算子融合的价值正在这里：减少中间数据搬运，也减少反复启动计算任务的开销。PR 说明，这是此前面向稠密前馈网络的融合路径向 MoE 模型的扩展。
为什么值得关注
这类优化没有改变模型会回答什么，却可能改变本地模型“多久开始回答”。对需要读取长提示词的场景，预填正是用户首先感受到的等待环节。更重要的是，改动已经合并，而非停留在提案阶段。
局限与未知
- 供稿中的性能栏没有实际结果，无法核实“最高提升 17.2%”。
- 材料没有给出 DGX Spark、具体模型、量化格式及对照数据，因此不能把该数字归因于这项 PR。
- 目前也不能把效果泛化到所有 MoE 模型或所有 CUDA 场景。