你在二手市场捡到一张十年前的计算卡，硬件还能工作，今天的软件却早已不再照顾它。它像一台性能尚可、却装不上新应用的旧电脑。Pantheon 想解决的正是这个问题：绕开现代大模型软件栈对新硬件的依赖，让 2014 年发布的 Tesla K80 也能运行今天的 35B 模型。
项目作者称，一张 K80 使用板上的两颗 GPU，可把两个经过 Q3_K_M 量化——用较低精度压缩模型权重——的 35B MoE 模型跑到约 21 tok/s。这里的 tok/s 是每秒生成的“词元”数量，衡量的是 decode，也就是模型逐字生成答案的阶段，并非从提交问题到拿到答案的全程速度。本文性能数据均来自作者在 Reddit 的自述，目前没有第三方复测或原始 benchmark 日志。
昔日旗舰，难在软件
Tesla K80 是 NVIDIA 在 2014 年推出的 Kepler 架构数据中心卡，一张板上装有两颗 GPU 和 24GB 显存。据 NVIDIA Newsroom，当年它曾被称为“世界最快”的数据分析与科学计算加速器。后来，NVIDIA 将 R470 定为最后支持 Kepler 数据中心卡的驱动分支，现代 CUDA 工具链也不再照顾它。旧卡再利用的障碍，因而不只是算力，还包括软件能不能在它身上启动。
Pantheon 的应对方式很直接。它是一套 LLM 推理引擎，建立在底层机器学习库 Foundry 之上；两者都用 C 编写，不依赖外部库。其 CUDA 后端专门支持 Kepler 的 sm_37。纯 C 和少依赖让旧平台更容易自行维护，代价则是作者需要自己承担张量运算、模型装载和硬件后端等基础工作。
作者称，只需 NVIDIA 470 驱动便可为 K80 构建 Pantheon，不必另装 CUDA toolkit。配套脚本会下载并校验模型，再启动兼容 OpenAI API 的服务。
35B，不等于每次都算 35B
这次运行的是 Qwen3.6-35B-A3B 和 Nex-N2-mini，均为 MoE，也就是“混合专家”模型。它们虽然拥有约 35B 的总参数，但生成每个词元时只激活其中一部分。因此，计算量可能明显小于同规模的密集模型；不过全部权重仍要存放和调度。换句话说，这项实验不能简单理解为“K80 跑动了一个每步都使用全部 35B 参数的模型”。
测试主机本身很弱：2 核 CPU、8GB 内存，而且不支持 AVX。作者解释，模型权重驻留在显卡上，所以 8GB 系统内存也能运行。约 21 tok/s 的成绩来自整张双 GPU K80，两颗 die 合用，不能写成单颗 GPU 的性能。
真正的等待发生在开口之前
大模型处理请求通常分两段。prefill 先读完提示词，decode 再逐个生成新词元。K80 的短板在前一段：据作者测试，提示词不超过约 8,000 tokens 时，读取速度为 110–120 tok/s；到 14,000 tokens 时降至约 75 tok/s，30,000 tokens 时约为 55 tok/s。这些数字不能与 21 tok/s 的生成速度直接比较，因为两者对应不同阶段。
这意味着，聊天和短问答可能较快进入生成，但如果每次都塞入约 30,000 tokens 的代码库，首字出现前可能要等数分钟。
Pantheon 还加入了 prefix caching，即“前缀缓存”：如果多轮请求共享同一段开头，它会保存这部分计算结果，下次只处理新增内容。作者给出的特定案例是，opencode 第二轮面对一段 14,000-token 的 system prompt 时，耗时从 170 秒降至 9 秒。这不是模型获得了普遍的约 19 倍加速，而是重复前缀恰好可以被复用。
为什么值得关注
这项工作的看点不只是旧卡跑出一个速度数字。它展示了另一条推理路线：不等硬件和主流框架替旧设备恢复支持，而是缩减软件依赖，直接为旧架构保留后端。对于已经退出现代软件主航道、但仍能计算的设备，这种工程选择提供了一种再利用思路。
局限与未知
- 所有性能结论都来自项目作者，缺少第三方复测、原始日志、精确测试参数和误差范围。
- 材料没有披露显存占用、功耗、首字延迟、上下文配置、采样参数及输出质量，不能据此判断完整使用成本与回答效果。
- 作者明确称项目仍处早期阶段；安装便利性、兼容性和长期稳定性仍待独立验证。