Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.043 — 2026-08-16
PAPER H 1 约 1 分钟

量化对非英语伤得更重

INT3压缩对阿拉伯语等非英语伤害更大,按语言加小补丁可找回多数损失。

把同一个 AI 压缩后交给英语和阿拉伯语用户,后者可能承受更明显的能力损失。Nirmal Thomas 的研究测试了 INT3 GPTQ——把模型权重压到约 3 比特的激进量化方法。量化像把高清色彩缩成有限色板,能省内存,却会丢失细节。作者发现,在 Qwen2.5-3B 上,英语的困惑度恶化为原来的 1.35 倍,阿拉伯语却达到 4.37 倍;日语和韩语也分别达到 3.04 倍和 3.49 倍。困惑度衡量模型预测文字时有多拿不准,越低通常越好。

补救办法是 Language-Conditional Dequantization(LCD,语言条件反量化):不给整个模型重新量化,而是为每种语言安装一套 rank-2 LoRA“小补丁”,专门校正压缩误差。每种语言只增加 0.12% 参数,用 256 段文本在单张 L4 GPU 上训练约 15—20 分钟。作者自述,在 Qwen2.5-3B 和 Llama-3.2-3B 上,它找回了非拉丁文字语言 70%—83% 的困惑度损失。更值得注意的是,通用补丁的平均成绩接近,但在阿拉伯语、日语和韩语上仍落后专用补丁 3—9 个百分点:压缩造成的伤害不只大小不同,形状也可能因语言而异。


供稿材料 SOURCES — 1

← 返回 2026-08-16 · 学术板块