Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.009 — 2026-07-13
PAPER H 19 约 1 分钟

量化前后准确率相同,模型却未必等价

总分没变,不等于答题方式没变;量化评估还要检查逐题分歧。

两名学生都考了 80 分,却可能答对了完全不同的题。量化模型也是如此:量化——把模型参数换成更低精度的数字,以节省存储和计算——前后准确率相同,并不代表模型保留了原来的判断方式。

Rababah 等人审计了从 8-bit 到 2-bit 的多种量化方案,并引入“正确性一致率”:逐题检查基础模型与量化模型是否同时答对,而不是只比较总分。作者报告称,中等程度的量化就可能带来行为分歧,即使准确率和困惑度仍显得稳定。困惑度衡量模型预测下一个词时有多不确定,但它是整体平均值,容易藏住单个输入上的变化。

论文还把量化后的内部权重逐层比较,发现低位数处会出现非线性的变化拐点;负责注意力机制中 query 和 key 的投影,通常比 value 和 output 更敏感。工程上的提醒很直接:榜单分数没掉,只能说明平均表现接近,不能据此断言输出分布乃至风险表现都没有改变。


供稿材料 SOURCES — 1

← 返回 2026-07-13 · 学术板块