把一座大资料库塞进行李箱,少带几本书并不奇怪;麻烦在于,丢掉的可能总是某几类,而且管理员还会很有把握地给出错答案。这项研究检查了 3 个大模型和 11 种压缩方法,包括量化——用位数更少的数字记录模型参数——以及剪枝——删除被认为不重要的参数或结构。它要回答的不是压缩后平均分降了多少,而是损失落在了哪里。
作者发现,中等程度压缩时,常见、中等和冷门知识的保留率大致相当;压缩更激进后,损失会在不同知识流行度之间不均匀地重新分配,并非简单地“先忘冷门知识”。更值得警惕的是,模型对压缩后新答错的问题,往往仍保持中高信心。社会偏见也有类似遮蔽:总体偏见分数看似稳定,不同人口群体上的刻板倾向却可能朝相反方向变化。换句话说,困惑度——模型预测文字时有多拿不准——或平均准确率接近原模型,不能证明部署风险也没变;上线前还得按知识类型、错误信心和人口群体拆开检查。