压缩大模型通常像给行李选箱子:只能在几个固定尺寸间取舍。ExTernD 想把这件事改成可连续调节。它不用常规的固定比特量化,而把权重矩阵拆成两个只取 -1、0、+1 的矩阵,再配一个实数缩放向量;新增分量则逐步修正前面留下的误差。
据 arXiv 摘要页,这项由 Chethan Reddy G.P. 提出的预印本于 2026 年 7 月 15 日提交。作者称,在 Gemma-4-E2B 和 Qwen3.5-4B 的逐矩阵实验中,ExTernD 以约 5.2—5.5 有效 bpw——即每个权重平均占用的比特数——达到 Q4_K 级别的精度。完整转换 Qwen3.5-4B 时,μ=3 的方案约为 5.7 bpw,WikiText-2 困惑度 10.10,接近 bf16 基线的 9.78;困惑度越低,通常表示模型越能预测文本。
它的价值不在于比四比特方案更省显存,而在于提供另一种折中:无需量化感知训练,代价可随扩展系数连续变化。效果目前主要来自作者自述,且显存占用略高。