把模型压到低比特,就像把精密刻度换成粗刻度:更省存储和计算,却容易在长推理中一步步走偏,甚至到字数上限还答不完。传统量化感知训练(QAT——训练时模拟低精度计算)常让压缩后的“学生”照抄全精度“教师”的固定答案,但学生实际生成时走的是另一条路,答案越长,偏差越容易累积。
OnQ的关键,是先让学生自己生成推理轨迹,再让教师针对它真正走到的每一步给出下一词概率。它还用Dynamic KL按词调节纠偏力度:学生低估的候选词与高估的候选词,分别采用更合适的校正方向。作者报告称,在Qwen3-1.7B、4B和8B的2比特与3比特设置中,OnQ均取得九项基准的最高平均分;其中2比特Qwen3-8B比最强基线高10.26分,并生成更短、截断和重复错误更少的回答。换句话说,修复量化模型未必靠复刻标准路线,更有效的办法可能是沿着它自己的岔路现场纠正。