Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.118 — 2026-10-30
NEWS 约 1 分钟

本地模型有了实机GPU榜

实测12款量化模型:普通显卡跑多快、占多少显存,这张榜直接给答案。

挑本地模型,光看“答题分数”还不够。就像买车不能只看马力,你还得知道它在自家路况下跑多快、成本多高。这个社区项目把关注点放到普通显卡上的真实表现:量化模型——用较低精度压缩权重、换取更低显存占用和更快速度——究竟多久能跑完测试,每秒能生成多少 token(模型处理文字的基本单位)。

作者搭建了一台 Linux 服务器,用两张 RTX 5060 Ti、合计 32 GB 显存,借助 Docker 固定软件环境,并以 vLLM 运行推理。12 款 4B 至 35B 模型接受完整数据集测试,不做抽样;每款又分别关闭和开启“思考”模式。系统记录实际耗时与吞吐量——单位时间生成多少内容——再计算时间效率分数。作者称,部分 MoE 模型用更短时间完成测试,成绩还能追平或超过参数规模相近的稠密模型。

它的价值很直接:准备下载约 20 GB 权重前,16 GB 或 32 GB 显卡用户可以先判断模型是否装得下、跑得动。不过这仍是作者个人搭建的社区榜单,结果来自特定双卡与软件配置,不能直接代表所有电脑。


供稿材料 SOURCES — 1

← 返回 2026-10-30 · 开源板块