Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.035 — 2026-08-08
NEWS 约 1 分钟

Nemotron全模态补上Mac本地路径

社区用 MLX 补齐视觉与音频组件,让 Nemotron Omni 真正在 Mac 本地看图、听音频。

一台号称能看、能听的模型,搬到 Mac 上却只能读文字,就像装好了大脑,却没接上眼睛和耳朵。社区开发者 divinetribe1 为 NVIDIA Nemotron Omni 补写了纯 MLX 运行组件。MLX 是面向 Apple Silicon 的机器学习框架;新实现补齐视觉塔和音频塔——分别把图像与声音转换成语言模型能理解的信息——以及输入处理和 token 拼接,让模型终于能在 Mac 本地接收截图与音频。

作者称,这套实现沿用 NVIDIA 参考代码,并逐项对照 PyTorch 版本测试,23 项全部通过;音频与视觉输出的最低余弦相似度分别为 0.99999130 和 0.99996227。在其 M5 Max 上,图像、音频和纯文本路径分别达到 67.7、147 和 152 token/s。语言模型采用 4-bit 量化——用更低精度压缩权重——视觉与音频组件则使用 bf16;图像路径峰值占用 22.1GB。代码以 MIT 许可证开放。不过作者只在 M5 Max 上测试,较小规格 Mac 的速度与兼容性仍待社区验证。


供稿材料 SOURCES — 1

← 返回 2026-08-08 · 开源板块