想在家里流畅运行 270 亿参数模型，显卡之间的通信常是瓶颈。Geezuz 把 Qwen3.8-27B 切到两张限功耗 280W 的 RTX 3090 上，不用 NVLink 高速互连，只通过普通 PCIe 通信。它采用 persistent CUDA kernel——让整轮计算尽量留在一个长期运行的 GPU 程序里，减少反复启动和搬数据。作者称，Q4_K_M 量化版在零上下文、单请求时达到 190 tok/s；tok/s 是模型每秒生成的文字片段数。
更值得看的是长上下文数据：同一版本在 10K 上下文时单请求为 159 tok/s、8 请求总吞吐为 550 tok/s；到 60K 时分别降至 143 和 289 tok/s。量化即用更少位数保存模型权重，以节省显存和带宽。成绩醒目，但均来自作者测试；其表格中，10K、8 请求下 vLLM 仍以 576 tok/s 领先，实际优势还需更多独立复测确认。