把大模型接进客服或内部工具,难点不只是让它跑起来,还要保证流量上涨时能扩容、故障后能恢复,并让不同芯片协同工作。10月16日,范式智能与睿思智联上线开源平台“模域”ModelSphere,试图把这些生产级部署环节收进一套流程。所谓模型服务,就是把训练好的模型包装成业务系统可以持续调用的在线服务。
ModelSphere位于模型与底层芯片之间:它统一管理算力、部署模型,并负责请求调度、缓存、监控和自动扩缩容。平台还称可混合调度华为昇腾、天数智芯、摩尔线程和海光DCU等国产算力,减少企业为不同芯片重复适配的工作。其代码已按Apache 2.0协议在GitHub开放,为希望自建AI基础设施的企业增加了一个本土选项;但开源也意味着更多运维责任要由企业承担。范式提供的材料称,平台极限吞吐效率较基准提升约285%,但未披露测试环境和基准细节,这一效果仍待独立验证。