买了8张B200 GPU，不一定把它们全绑在一个模型实例上最划算。qubridInc的实务分析认为，部署GLM-5.2这类MoE（Mixture of Experts，只让部分“专家”参与每次计算）模型时，可用NVFP4——一种压缩权重的4位浮点格式——把权重从约744 GB降至约459 GB。这样4张卡的720 GB显存便能放下模型，并留下约230 GB给KV Cache，也就是模型推理时保存中间结果的“草稿纸”。
由此，一台8×B200服务器可以运行两组独立的TP=4副本。TP即张量并行，把同一层计算拆到多张卡上；铺到8张卡虽然能运行一个大实例，却会增加跨卡通信。作者据此判断，两组TP=4副本同时接单，整体吞吐可能比单组TP=8高近一倍。其引用的GLM-5测试中，NVFP4、TP=4在并发64时达到每卡3740 token/s，而FP8、TP=8为1619 token/s。需要注意，这些完整测试来自同架构家族的GLM-5；作者明确表示，尚未找到GLM-5.2在8×B200上的完整并发测试表，实际部署还要验证NVFP4的精度损失。