给模型“瘦身”，有点像压缩照片：文件是小了，但人脸和文字未必糊得一样严重。量化——用更低精度保存模型数值，以节省存储和显存——也有类似问题。过去常说某个量化版本“总体只损失几个点”，但总分可能把真正重要的短板藏起来。
Reddit 用户 BBASecure 将 FP16（常见的 16 位精度参照）与多个 GGUF 量化等级分开测试，分别观察数学、代码、推理和知识能力。在其中一个未具名的 27B 模型上，Q4_K_M 在对话和知识任务中的下降不到 2%，多步数学准确率却比 FP16 低了近 9%；升到 Q5_K_M 后，数学差距基本消失。换句话说，如果模型主要负责聊天，Q4 或许够用；若要解数学题，同一档位就可能不合适。
这组结果来自作者个人测试，材料没有披露具体模型及完整数据，也未回答长上下文是否会让量化模型更快丢失信息。但它提醒了一个实用原则：选 GGUF 档位时，不能只看综合基准，还要看最在意的那项能力。