你准备买一张显卡，在两款之间反复比较：显存、带宽、核心数量都写得很清楚，可真正想知道的只有一件事——本地 AI 回答一句话时，我到底要等多久？Llmspeed 想把这道昂贵的选择题变成一次可以提前感受的试跑。
本地模型推理，是把已经训练好的模型放在自己的电脑上运行，而不是把问题发给云端服务。硬件既决定模型能不能装下，也影响文字出现的速度。Llmspeed 官网称，它可以估算特定模型在特定设备上的运行速度。不过，目前页面展示的是单个设备处理短提示词时的估算，不是目标电脑上的完整实测。
不只给你一个速度数字
本地模型常用 token/s 衡量生成速度。token 是模型处理文字时使用的基本片段，token/s 就是每秒能生成多少个片段。数字越高，回答通常出现得越快，但它不能单独代表整体体验，更不代表回答质量。
Llmspeed 更值得注意的地方，是它试图把这个抽象指标还原成等待感受。相比在参数表里看到一个陌生数字，直接观察模型以相应速度生成文字，更容易判断“这个速度我能不能接受”。对正在挑显卡的人来说，这种直觉可能比继续比较几列规格更有用。
据 Llmspeed 的 GitHub 说明，项目从 r/LocalLLaMA、localscore.ai 和 llama.cpp 讨论等来源收集并核验基准数据。所谓基准，就是在既定条件下实际测出的性能。没有对应实测时，项目会采用两种办法：根据相近配置插值，或者结合硬件规格、模型活跃参数量，以及由实测校准的效率系数进行估算。
换句话说，页面上的结果并不都来自同一种证据。有些是社区实测，有些是从近似配置推出来的，还有些主要依据规格预测。后两类属于外推，不确定性自然更高。
它击中了最贵的那个问题
Llmspeed 最初只是作者为自己和一位朋友制作的购物工具。据 Reddit 相关社区讨论，项目公开后，有用户感叹，如果早有这种能直接感受生成速度的页面，上一轮购买硬件时或许不会花冤枉钱。其他人则开始拿自己的设备核对结果，并追问缺少的 Mac、V100 和长输入场景。
这正是它值得关注的原因。购买本地 AI 硬件往往要先花钱，之后才知道模型跑起来是否足够顺手。Llmspeed 把体验提前到了付款之前。即使估算不能替代实测，它仍然提供了一个更贴近日常使用的问题框架：不是“这张卡的参数多大”，而是“它回答时有多快”。
项目说明还称，代码已公开托管在 GitHub，并邀请贡献者通过 Pull Request 更新设备列表；提交基准数据时需要注明来源。这让它有机会从两个人的购物计算器，逐步变成由社区补设备、补数据、现场纠错的清单。
真实世界总有例外
社区很快给出了一个有代表性的反例。据 Reddit r/LocalLLaMA 的反馈，有人测试了一个“超大 MoE 模型塞进小显卡”的配置。MoE 是混合专家模型——一次计算只调用模型中的部分“专家”。网站依据显存占用阈值判断它无法运行，但测试者借助 expert offload，只通过 PCIe 搬运当时需要的权重，仍测得 80.7 tok/s；关闭缓存后为 26.8 tok/s。
这个例子说明，模型总尺寸超过显存，并不必然等于跑不动。硬件规格容易列成表，推理引擎如何调度数据却很难压缩成一条公式。估算器越想覆盖复杂配置，就越需要把这些例外纳入模型。
局限与未知
- GitHub 说明明确写着目前只支持单 GPU，因此结果不能直接代表多卡或跨设备部署。
- 速度还会受模型量化版本、上下文长度、提示词长度、生成参数、推理框架、驱动以及显存和内存带宽影响；短提示词估算不能概括所有使用场景。
- 现有材料没有说明界面是否逐项区分实测、插值和规格预测。若来源标记不够清楚，用户容易把预测值误当成实测值。因此，Llmspeed 更适合做购买前的体验参考，而不是准确的性能承诺。