你想在手机上放一个能看图、推理、调用工具的 AI，先遇到的往往不是“够不够聪明”，而是“装不装得下”。模型运行时要占内存，设备还得给系统和其他计算留位置。PrismML 发布的 Bonsai 27B，试图用很激进的办法解决这个问题：把一个 27B，也就是约 270 亿参数的模型，压缩到最低约 3.9 GB。它已经出现浏览器 WebGPU 演示、笔记本和 Jetson 小型设备实测，也被官方称为首个能进入手机内存预算的 27B 级模型。
这里最值得看的，不是“手机里又多了一个聊天机器人”，而是端侧大模型跨过了一道实际门槛。端侧推理——直接在手机、电脑或嵌入式设备上运行 AI——可以减少数据外传，也不必持续联网。但本文涉及的性能与能力数字，多数仍来自 PrismML 官方；现有第三方体验同时表明，压缩带来的能力损失并没有消失。
把每个旋钮压缩成两个位置
Bonsai 27B 基于 Qwen3.6 27B。它是稠密模型，也就是每次生成都会使用全部主要参数，不像 MoE 模型只调用部分“专家”。因此，即使文件变小了，270 亿参数所对应的计算量仍然存在。
它的核心手段是低比特量化。可以把模型权重理解成内部数量庞大的调节旋钮。常规模型会细致记录每个旋钮的位置；量化则减少可记录的档位，以较低精度换取较小体积。
PrismML 提供了两个版本。Ternary Bonsai 27B 把权重限制为 三个值，有效精度为每个权重 1.71 bits，官方给出的模型文件约为 5.9 GB。1-bit Bonsai 27B 更进一步，只保留 两个值，有效精度为每个权重 1.125 bits，文件约为 3.9 GB。前者偏向质量，后者优先缩小占用。
这种选择比常见的 4-bit 量化更激进。档位越少，模型越省空间，但通常也越难保住原来的能力。Bonsai 的意义正在于，它把这种取舍推到了 27B 级模型，而不再局限于更小的模型演示。
约 4 GB，不等于运行只用 4 GB
3.9 GB 是模型文件大小，不是设备运行时的全部内存账单。模型还要为上下文和中间计算结果留空间。因此，“能下载进手机”和“能在手机上稳定运行”是两回事。
PrismML 官方称，1-bit 版本已经进入手机可用的内存预算，并称它是首个能在手机运行的 27B 级模型。但现有材料没有给出具体真机的速度、峰值内存或完整测试过程。更准确的说法是：它跨过了官方设定的手机内存门槛，实际体验仍待可复现实测。
第三方设备数据更具体。一名用户在 M4 Pro 上运行 Ternary 版本，并把上下文设为 32K——模型一次可处理约 3.2 万个 token，token 可以粗略理解为模型读写文本时使用的小片段——测得约占 10 GB 内存。这也直观说明，5.9 GB 的文件加载运行后会继续膨胀。
另一名用户在 Jetson Orin Nano 8GB 上以 48K 上下文运行 Bonsai 27B：冷启动并载入模型后占用 6.2 GB，提示处理速度为每秒 27 token，生成速度为每秒 4.31 token。材料没有说明使用的是哪个 Bonsai 变体，因此这组数据不能拿来直接证明 3.9 GB 版本的表现。但它至少表明，27B 级模型已经能在 8GB 小型设备上真正跑起来，只是生成并不快。
浏览器也成了运行环境
第三方还给出了 Bonsai 27B 的 WebGPU 演示。WebGPU 是让浏览器调用本机 GPU 做通用计算和图形处理的接口。换句话说，网页不必把每次推理都送到远端服务器，也有机会直接使用电脑里的算力。
这一步的价值不只在“打开网页就能聊天”。如果模型在本地运行，文档、截图或其他输入可以少一次上传过程，断网时也可能继续工作。PrismML 的官方规格还称，Bonsai 27B 支持多模态——不仅处理文字，也能接收视觉信息；其 vision tower，也就是负责看图的部分，采用 4-bit 形式。官方同时列出了最长 262K-token 上下文和 speculative decoding。后者是“先让较小的草稿模型试写，再由目标模型核对”的加速方式，目标是在不改变最终结果的前提下提高生成速度。
不过，目前的 WebGPU 材料只证明演示入口和定制 kernel——针对 GPU 编写的计算程序——已经出现，没有披露浏览器实际占用多少内存、在哪些设备上能达到什么速度，也不能推导为所有浏览器都能顺畅运行。
能力保住了多少？
PrismML 汇总了 15 项 benchmark，也就是标准化评测，覆盖知识、推理、数学、编程、指令遵循、工具调用和视觉任务。在 thinking mode——允许模型展开完整推理的模式——下，官方称 Ternary 版本保留全精度基线 95% 的综合表现，1-bit 版本保留 90%。这些是官方结果，尚不能当成独立验证后的结论。
现有用户体验给出了一幅更克制的图景。一名测试者起初把 Ternary 版本形容为接近 FP16，随后根据更多文档检索和实际工作流测试修正判断：它的质量优于 Q2 量化，但明显弱于 Q4_K_XL，并且更容易产生幻觉和工具调用循环。幻觉是模型生成看似合理、实际不可靠的内容；工具调用循环则是模型反复要求执行工具，却没能顺利结束任务。
这并不抹去 Bonsai 的进展，反而把它的真正价值说得更清楚：它不是用约 4GB 换来完整的全精度体验，而是在极小内存里保住一部分此前难以容纳的 27B 级能力。重点是“这个体积下还能用”，而不是“压缩没有代价”。
为什么这是一个节点
过去谈端侧大模型，常见问题是模型够小，却未必能承担复杂任务；模型能力上去了，内存又很快超出普通设备。Bonsai 27B 把两个选择点摆得很清楚：Ternary 版本用更大占用换较好质量，1-bit 版本继续牺牲能力，争取进入手机级空间。
从现有证据看，它已经越过“只有文件可以下载”的阶段：笔记本和 Jetson 有了实际运行数据，浏览器有了 WebGPU 演示，本地运行入口也已发布。PrismML 还以 Apache 2.0 License 发布模型，为后续复现和适配提供了条件。真正值得关注的，是27B 稠密模型开始出现在过去很难容纳它的环境里。
局限与未知
- “首个能在手机运行的 27B 级模型”目前是 PrismML 的官方说法。材料没有手机型号、速度、峰值内存和可复现实测，不能把“符合内存预算”写成已经完成充分真机验证。
- 官方的 95% 与 90% 来自自家 15 项评测。独立体验显示 Ternary 版本仍明显弱于 Q4_K_XL，并可能增加幻觉和工具调用循环。
- WebGPU 演示和 Jetson 实测证明了运行路径存在，但浏览器数据不完整，Jetson 测试也没有注明所用变体。它们还不足以说明普遍设备上的速度、功耗和稳定性。