把一个270亿参数的大模型塞进紧凑设备，难点不只是“能不能跑”，还要看回答是否够快、压缩后是否明显变笨。Embedl 团队成员自述，他们让 Qwen3.8-27B 在 Jetson Thor——面向机器人和边缘计算的紧凑硬件平台——上达到39.6 token/s 的解码速度。token 是模型处理文字的基本片段，并不严格等于“词”；包含提示词处理后，端到端速度为23.6 token/s。
这套方案组合了三步：INT4 量化用约4位整数保存权重，降低内存和计算开销；MTP（Multi-Token Prediction）尝试一次预测多个后续片段，减少逐个生成的等待；FlashHead 则不再为26.2万个候选逐一打分，只计算更可能的候选。测试采用批量为1、2048-token 提示、生成128 token 的设置，20次请求平均峰值内存为24.8 GiB。作者还报告，三个测试集的成绩与FP16模型接近；不过这些速度与精度数据均来自团队披露，材料未提供独立复核结果。