想在个人电脑上流畅运行大型 AI 模型，常见障碍不是模型不能启动，而是显存不够、生成太慢。开发者 Azazelionide 自述，通过自定义 CUDA/C++——针对 NVIDIA 显卡重新编排计算、减少通用框架开销——在仅有 16GB 显存的 RTX 5060 Ti 上运行 Qwen3-30B-A3B，速度达到 50—54 tok/s。tok/s 指模型每秒生成的 token 数，可粗略理解为出字速度。
这款模型属于 MoE（混合专家）模型：它虽然包含多个专家子网络，但生成每个 token 时通常只启用一部分，因此实际计算量可能远低于总参数给人的印象。此次测试还采用 FP8，即用 8 位浮点格式降低数字精度，以节省显存并提高速度。作者称，其实现比启用 n-cpu-moe 的 llama.cpp 快约 50%，后者约为 33—34 tok/s。不过，提示长度、量化、采样与测试配置都会影响 tok/s；原帖未披露完整测试条件，因此这更像一个值得复核的性能上限，而非可直接横向比较的结论。