把模型里的数字“四舍五入”，分类成绩单可能几乎没变；但让它替你找图片或文档，排在第一位的结果却可能换了。Zhou 等人发现，4-bit 量化——用更少位数表示模型参数，以节省内存和计算——会改写 14% 至 46% 的 Top-1 检索结果，而常用的总体排名指标只显出小幅下降。
关键在“分数间隔”：第一名领先第二名多少。分类训练通常会主动拉开正确答案与其他类别；检索训练却未必拉开前两项，因此一点量化误差就可能颠倒名次。作者证明，只有当间隔大于最大舍入误差的两倍时，第一名才一定不变。这个间隔无需答案标签，也能提前判断哪些模型或查询容易出问题。
作者还据此把额外精度优先分给最影响前两名间隔的模型层：只付出增加一位精度约一半的成本，就能收回其三至四分之三的收益。提醒很直接：评估量化检索系统，不能只看平均分，还要问用户实际看到的第一条是否变了。以上效果来自论文作者实验，材料未提供完整数据表细节。