一批老 NVIDIA 显卡并非算不动 AI，而是新软件已经不再照顾它们。这个 llama.cpp 分支——从主项目复制出来、独立维护的开发路线——专门补回 Kepler 等旧架构的兼容性，让原本启动就失败的硬件重新参与本地推理。
作者用 4 张 Tesla K40c 测试量化版 Qwen3.6-35B-A3B；量化就是压缩模型所用数字的精度，以减少显存和计算负担。修正旧显卡的 cuBLAS 计算类型选择后，系统从无法启动达到每秒约 35 个 token；token 是模型生成文字时处理的基本片段。再启用 CUDA Graph——预先录下一串 GPU 操作并重复提交，减少 CPU 逐步调度——速度由约 35 提至 55 token/s。接入 Windows NCCL 后，作者还观察到约 5%至10%的端到端提升；这里的 NCCL 是帮助多张 GPU 协同计算的非官方 Windows 移植版，并非 NVIDIA 原生支持。
这些数字只来自作者自己的四卡系统，且属于初步测试；不同旧架构与任务能否复现，仍需更系统的验证。