让 AI 看懂截图,再操作本地工具完成任务,通常离不开云端大模型。Meta 的 Muse Glimmer 想把这套能力搬到个人工作站:它能理解截图、图表和文档,也能调用工具,并在命令报错后尝试换一条路径。模型采用 Apache 2.0 许可证发布开放权重——即参数可以下载和修改,但不代表训练数据与完整配方全部公开。
本刊此前已介绍过它的 300 亿参数架构,这次更值得看的,是 Meta 如何让它真正装进本地设备。据 InfoQ 报道,未经压缩的模型通常需要超过 55 GB 显存;采用 4 位量化——用较低精度保存参数——后,占用降至约 17 至 20 GB,可在配备 24 至 32 GB 内存或显存的设备上运行。它还让一个轻量“草稿”模型先批量猜出若干 token(模型生成文字的基本单位),再由主模型并行核对。报道援引官方数据称,这套 DFlash 推测解码在指定 Apple Silicon 和 RTX 5090 等硬件上最多可把生成吞吐量提高 3.1 倍;实际速度与稳定性仍需更多独立测试。