Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.004 — 2026-07-08
NEWS 约 1 分钟

432B MoE 模型首日就有 GGUF

432B MoE 发布即提供 GGUF,但本地运行仍需专门构建 llama.cpp。

超大模型想搬到本地跑,往往先要等社区转换格式、适配工具。GigaChat 3.5 Ultra 这次把这段等待压到了发布首日:据 Hugging Face 官方模型卡,它在发布指令版、基础版和训练检查点的同时,也直接提供了 GGUF——一种把模型权重与运行信息装在一起、方便本地加载的文件格式。

这是一款 MoE(混合专家)模型:总计 432B 参数,但每处理一个词只激活其中 28B。后一个数字更接近每步计算量,前一个仍决定庞大的存储和内存压力。官方 GGUF 仓库给出 Q4_K_M、Q6_K、Q8_0 和 BF16 等版本;量化能缩小体积,却通常会牺牲一些精度,而且 432B 即使量化后依然不是普通电脑能轻松承受的规模。

“首日支持”也有边界:官方步骤要求从 llama.cpp 的 PR #25342 单独构建,说明这种新架构发布时尚未进入该本地推理工具的主分支。真正值得注意的不是它突然变得亲民,而是超大 MoE 已开始在发布当天就接入本地运行生态。


供稿材料 SOURCES — 1

← 返回 2026-07-08 · 开源板块