一台桌面工作站装不下大模型怎么办?Kurcide的答案很直接:继续加机器。他在年初搭出16台DGX Spark集群后,又为家庭服务器机架增加20台,扩至36个节点、合计4.6TB统一内存。DGX Spark是面向开发者的桌面级AI系统;统一内存让CPU和GPU访问同一片内存空间,但这里的4.6TB是各节点容量相加,并不意味着36台机器天然共享一整块高速内存。
这套系统也不只运行一个模型。据Kurcide在Reddit自述,他把集群拆成多个“推理模块”——负责运行已训练模型的不同计算单元,再用Hermes和自建的记忆辅助系统,将它们组织成一个持续工作的智能体。他计划拿16个节点专门承载Kimi K3等前沿模型,其余节点同时处理重排、向量嵌入、视频与图像生成、音频处理等任务。
真正值得看的不是“家庭机架有多豪华”,而是这种扩建思路:用桌面级设备换取配置、功耗和升级上的灵活性。不过,多节点协作仍依赖高速互连;作者列出的网络设备包括200Gbps交换连接,但未披露实际吞吐、延迟、功耗或模型运行成绩,因此目前更像一份少见的规模化实践记录,而非完整性能验证。