Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.090 — 2026-10-02
NEWS 约 1 分钟

1.375比特权重跑进浏览器

把三值权重塞进 WebGPU:1.6MB 小模型展示浏览器端极低比特推理

想让模型直接在网页里运行,第一道门槛往往不是算力,而是要下载和存放一大包权重。Precisit 展示了一种更紧凑的做法:把四个权重限制为三个 ±1、一个 0,用 5 比特保存;再计入每 128 个权重共用的 fp16 缩放系数,平均每个权重占 1.375 比特。配套的 WebGPU——浏览器调用设备 GPU 做计算的接口——让这套格式不只停留在文件压缩上,而能真正跑起来。作者称,此前尚未见过 Sherry 式 3:4 三值权重在浏览器中运行。

演示模型有 740 万参数,用来给四子棋的合法落子逐一打分,不做搜索,也不是 LLM。它的文件仅 1.59MB;作者在闲置的 M5 Pro 和 Chrome 上测得每步 1.1 毫秒。更值得注意的是训练方式:直接把训练完成的模型转成三值格式,面对深度为 4 的对手时得分从约 0.9 跌到 0.13;训练时就让模型使用这种格式,得分则达到 0.93,与 29.7MB 的 fp32 版本相近。测试每组为 200 局,双方有 5% 概率随机落子。它还不能证明大语言模型也会同样受益,但提供了一个可运行、代码与模型均采用 MIT 许可的浏览器端极低比特推理样本。


供稿材料 SOURCES — 1

← 返回 2026-10-02 · 开源板块