AI跑得快不快,不只看模型,也看底层“小程序”是否高效。Hugging Face近日大幅重构Kernels工具链。这里的kernel不是操作系统内核,而是在GPU等加速器上执行具体运算的程序,它会直接影响模型训练和推理的速度与成本。
这次最关键的变化,是Hugging Face Hub新增独立的kernel仓库类型。开发者现在可以查看某个内核支持哪些加速器、操作系统和编译后端——也就是把模型运算转换为硬件可执行代码的组件。内核因此有了专门的版本、分发和发现入口,也为AI智能体参与编写、测试和优化内核提供统一基础。
安全是另一条主线。内核会以加载它的Python进程权限运行,恶意代码可能直接危害机器。新版默认只加载受信任发布者的内核,并用Nix支持可复现编译,在内核中写入源代码的Git SHA1。项目还加入基于Sigstore cosign的代码签名,用短时有效的密钥降低泄露风险。不过,加载内核时尚未自动验证签名;Hugging Face称仍需继续测试这项功能。