想在网页里直接用小模型，通常得先面对两道门槛：模型文件太大，浏览器也未必会算。Bonsai 2的新进展，是把基于Qwen 3.5的三值模型扩展到2B、4B和9B，并让最小的2B版本完全在浏览器本地运行。三值模型把大量权重限制在三个取值，就像把一套庞杂的记账方式压缩成三种标记，以减少存储和计算开销。
演示通过WebGPU——浏览器调用显卡算力的接口——配合自定义推理内核运行。发布者称，2B模型在M4 Max上最高可达每秒500个token；token可粗略理解为模型处理文字时切分出的基本单位。它的意义不只在速度：输入可以留在用户设备上，也不必另设后端服务。
不过，这还不是“打开所有浏览器就能用”的成熟方案。材料对常规llama.cpp是否已经兼容存在前后不一致的说法，主编提供的信息显示目前仍依赖专用分支；自定义WebGPU内核也意味着实际可用性会受浏览器和设备支持影响。