下载了开放权重模型,不等于马上就能在自己的机器上跑。它还得接入具体的推理工具。如今,Aleph Alpha 的德英双语模型 Kolibri-1 已获 llama.cpp 支持——这是一套让大模型跨 CPU、GPU 和操作系统本地运行的流行工具链。
Kolibri-1 共有 78B(780亿)参数,但每处理一个 token——模型阅读文字时切分出的基本单位——只激活约 3.46B。它采用 MoE(混合专家)架构,可以理解为每次只调动部分“专家”,而非让整套模型同时工作。模型还支持显式推理模式和工具调用,并以 Apache 2.0 许可证开放权重。
这次进展的价值主要在兼容性:它为 Kolibri-1 进入 llama.cpp 本地生态补上前提。不过供稿信息同时称仍在等待 GGUF 文件;GGUF 是该生态常用的模型封装格式,便于分发量化权重及运行元数据。因此,“架构已支持”还不等于普通用户已经能直接下载并轻松运行。