像一个学生把计算过程写得更潦草,最后仍可能碰巧答对。模型量化也有类似风险:它用较少的数字位数保存模型,以节省显存和计算,但可能悄悄改变推理。Oladri 等人检查了五个 3B—14B 参数模型的 3 万条思维链——模型答题前写出的分步推导。结果显示,从 FP32、FP16 降到 NF4 后,任务准确率最多只下降 3.1 个百分点;只看得分,似乎问题不大。
真正反直觉的是错误结构变了。在 LLaMA 3.2-3B 上,NF4 量化后,“Shortcut Collapse”(可直译为捷径式崩溃)占错误答案的比例从 44% 升至 78%;“Confidence Snowballing”(信心滚雪球)则从 15.8% 降到接近零。正确答案也未必可靠:论文把“推导不完整或无法验证,却得到正确结论”称为 Hollow Convergence。它在小模型上会随量化明显变化,但在 12B 参数及以上模型中保持稳定。作者还称,仅凭文本表面特征识别这类问题,最佳 F1 只有 0.53。换句话说,量化评测若只看答对率,可能看见同一个分数,却错过模型已经换了一套出错方式。