想在桌边跑超大模型，最先撞上的往往不是算力，而是内存：一台机器装不下，就把几台小型 AI 电脑拼起来。Reddit 用户 sudoing 展示了一个实测样本：通过 llama.cpp RPC——让多台机器经网络分担模型任务——将 Ling 3.1 Flash 装载到四台 NVIDIA DGX Spark 上。
Ling 3.1 Flash 是一个 560B 的 MoE（混合专家）模型：总参数达 5600 亿，但生成每个 token 时只激活 250 亿参数。它仍需存放庞大的完整权重，因此两台 Spark 未能容纳其原有配置。sudoing 随后借用一套四机环境，采用 Atomic Chat 发布的 Q4 GGUF——约以 4 位精度压缩、供 llama.cpp 使用的模型文件——完成分布式装载。当时帖子称尚无可用于 vLLM 的官方 FP4 构建，因此选择了这条路径。
这次进展的价值在于证明“桌面小集群承载超大 MoE”确实能跑通，而不只是配置设想。不过帖子尚未给出速度或性能数字；作者也预期网络带宽和生成速度会很吃力。它相比 124B 的 Ling 3.0 Flash 能否带来足够明显的回答质量提升，仍要等待实际测试。