Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.119 — 2026-10-31
NEWS 约 1 分钟

OpenBonsai把BF16模型压成约2GB三值GGUF

把自己的 BF16 模型和微调权重压成约 2GB 三值 GGUF,瞄准浏览器本地 AI。

想把自己调好的 AI 模型塞进电脑浏览器,第一道坎往往是体积。OpenBonsai 做的事很直接:把 BF16——一种常用于保存模型权重的 16 位格式——转换成三值权重,也就是让权重只取 -1、0、+1,再导出为 GGUF 模型文件。重点在于,它不只处理项目方预先发布的模型,也瞄准用户自己的模型和微调权重。

作者以 Qwen3.5-9B 为例,称完整文件从约 18GB 压到 1.997GB,其中包含词表、聊天模板和元数据等;在单张 32GB RTX 5090 上,转换约需 5 小时。不过,小体积并非没有代价:作者给出的测试中,关闭思考模式后,GSM8K 得分从 77/100 降至 65/100,HumanEval 从 44/50 降至 34/50。

OpenBonsai 采用 Apache-2.0 许可,并兼容 Prism 的 PTQ1_0 GGUF 格式。它把“压缩自己的权重”这块缺口补进了工具链,但浏览器内运行仍是长期目标:当前推理依赖 Prism 的 llama.cpp 分支,尚不支持 WebGPU。


供稿材料 SOURCES — 1

← 返回 2026-10-31 · 开源板块