把一排长短不一的物品塞进统一尺寸的格子,最高的那件会迫使所有格子一起变大,空间也就浪费了。4比特量化也有类似麻烦:每个数只有16种取值,一组参数还共用同一个缩放尺度;少数离群值会拉宽量程,让多数普通数只能被粗糙表示。旋转、缩放和置换等“函数保持变换”,就是先重新排布这些数值,同时在别处补偿,保证模型原本表达的函数不变,再进行取整。
这篇综述盘点了截至2026年6月的200项工作,并把其中43种变换方法纳入统一框架。最值得注意的结论是:经典变换编码允许把更多比特分给重要位置,因此偏爱把数值能量集中起来;实际部署常用的分组共享尺度却不能灵活分配比特,反而偏爱让组内数值更均匀。两套条件会把“最佳变换”推向相反方向。
论文还指出,答案不能脱离数值格式:非均匀的FP4会削弱“摊平”的收益,MXFP4与NVFP4也因缩放尺度设计不同而给出不同倾向。换句话说,旋转并非通用配方;变换、分组方式和4比特格式必须一起设计。