一台机器同时替几个人写代码,难点不只在“写得快不快”,还在大家要等多久才看到第一个字。这组测试把 Qwen3.6-27B 部署在四张 RTX 5060 Ti 上,合计 64GB 显存,并用 Pipeline parallelism=4——把模型不同层分到四张卡上接力计算——考察 1、4、8、12、16 路并发。并发就是同时处理多个请求;它通常能提高整机吞吐,也可能拉长每个人的等待。
已披露的单路结果提供了一个直观基线:8 个请求全部成功,平均 TTFT(从发出请求到看到首个输出 token 的时间)约 3.29 秒,输出速度约 17.74 token/秒,平均每个后续 token 用时约 50.62 毫秒。测试输入长度设为 6144 token、输出为 512 token。这里尤其值得看 Prefill——模型先把整段提示一次读完并计算的阶段;长代码会让它更吃算力,也会直接推高首字等待。遗憾的是,供稿截取未包含 4 至 16 路的完整结果,因此暂时不能据此判断并发拐点;这些数字也只是 Reddit 作者在特定硬件与参数下的自测。