Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.057 — 2026-08-30
PAPER 约 1 分钟

量化变换迎来一次总盘点

统一盘点43种量化变换:旋转是否有用,取决于它与4比特格式是否合拍。

把一排长短不一的物品塞进统一尺寸的格子,最高的那件会迫使所有格子一起变大,空间也就浪费了。4比特量化也有类似麻烦:每个数只有16种取值,一组参数还共用同一个缩放尺度;少数离群值会拉宽量程,让多数普通数只能被粗糙表示。旋转、缩放和置换等“函数保持变换”,就是先重新排布这些数值,同时在别处补偿,保证模型原本表达的函数不变,再进行取整。

这篇综述盘点了截至2026年6月的200项工作,并把其中43种变换方法纳入统一框架。最值得注意的结论是:经典变换编码允许把更多比特分给重要位置,因此偏爱把数值能量集中起来;实际部署常用的分组共享尺度却不能灵活分配比特,反而偏爱让组内数值更均匀。两套条件会把“最佳变换”推向相反方向。

论文还指出,答案不能脱离数值格式:非均匀的FP4会削弱“摊平”的收益,MXFP4与NVFP4也因缩放尺度设计不同而给出不同倾向。换句话说,旋转并非通用配方;变换、分组方式和4比特格式必须一起设计。


供稿材料 SOURCES — 1

← 返回 2026-08-30 · 学术板块