家里跑大模型常遇到一个尴尬：小模型装得下，却闲着不少显存；大模型又会挤到内存里，速度骤降。一名 LocalLLaMA 用户测试 NVIDIA Nemotron-3-Puzzle-75B-A9B 后认为，中间那档或许更合适：它是 MoE（混合专家）模型，总量约 75B 参数，但每次生成只调用约 9B。前者主要决定占多少空间，后者更直接影响计算量。
据作者自述，模型经 NVFP4——一种用更低精度压缩权重、提高吞吐的 4 位格式——处理后，通过流水线并行分到 3 张 RTX 3090 上，每张限功耗 200W。三个会话同时生成时达到 132 tokens/s；tokens/s 是每秒生成的文本片段数。单会话约为 65 tokens/s，所以不能把 132 直接理解成一个聊天窗口的速度。作者还称，整机墙上功耗约 500W，并因此腾出第 4 张卡运行语音服务。
真正值得注意的不是单次跑分，而是作者指出的容量空档：约 70–80B 总参数、约 10B 激活参数，量化后正好利用三张 24GB 显卡的 72GB 显存。至于这一档是否普遍兼具质量与速度，目前材料只有这名用户的测试与判断，尚不足以作更广泛结论。