Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.087 — 2026-09-29
NEWS 约 1 分钟

五块退役矿卡跑出40 tok/s

五块退役矿卡拼出约71GB显存,不到800美元跑起编程模型,代价是高功耗与慢互联。

IMAGE — r/LocalLLaMA 日榜

想在家里运行大模型,难点往往不是“算不动”,而是“装不下”。一名玩家把五块退役 BC-250 矿卡装进 ASRock 12 板机箱,拼出约 71GB 显存,用来运行 Qwen3-Coder-Next。BC-250 是由 AMD 游戏主机 APU 衍生而来的挖矿计算板,价格可能较低,但软件支持、能耗和设备互联都不如常规 AI 显卡省心。

据发布者在 Reddit r/LocalLLaMA 的展示,这套设备运行模型的 Q4 版本——即用约 4 位精度压缩权重,以减少内存占用——在约 3 万词元上下文时达到约 40 tok/s,也就是每秒生成约 40 个词元;上下文增至 10 万时,速度降至约 30 tok/s。五块板通过自带的 1Gb 以太网交换中间结果,整套成本不到 800 美元。

它的意义不在于刷新速度纪录,而是展示了另一种本地推理上限:用低价旧硬件、复杂配置和高功耗,换取足以容纳大模型的显存池。发布者也直言功耗效率很低;目前结果仍是个人展示,未见独立复测。


供稿材料 SOURCES — 1

← 返回 2026-09-29 · 开源板块