把大模型“压缩”到更低精度，有点像把高清影片转成小文件：播放更快、占空间更少，但细节可能悄悄丢失。Unsloth 作者称，其 Qwen3.6 量化版采用 NVFP4——面向 NVIDIA 硬件的4位浮点格式——并以 W4A4 让权重和计算中的激活值都使用4位精度。相比 NVIDIA 的 NVFP4 版本，27B 模型吞吐提升2.5倍，35B-A3B 两个版本提升1.56倍和1.79倍。在 MMLU-Pro、GPQA、AIME 2025 三项知识与数学基准中，作者称未见准确率下降。
它还提供 FP8 KV Cache 校准。KV Cache 是模型生成文字时保存的注意力缓存，像一张避免重复计算的草稿纸；降低其精度可减少显存占用，作者称能自动容纳两倍长的上下文。
但另一组 Qwen3.6 测试给出了提醒：GPQA Diamond 知识分数在不同量化版本间变化很小，较低精度版本在 Terminal-Bench 2 上却明显退步。后者考察模型能否在终端中规划并完成多步操作，更容易暴露工具使用、纠错和长流程执行的损失。两组测试设置并不相同，不能直接对照；结论更像是：量化是否“无损”，不能只看知识题总分。