像记账时把几分钱舍掉,单次看似无碍,反复累积却可能让账目失衡。论文指出,几乎所有分类神经网络都会用到的 Softmax 和交叉熵,在极端分数下也会如此:Softmax 把模型给各答案的原始分数(logit)换成概率,交叉熵再根据正确答案的概率生成训练惩罚;但电脑只能用有限位数表示数字,小信号可能在运算中消失。
当正确答案的 logit 远高于其他答案时,标准实现虽用“减去最大值”避免数值溢出,却会把正确答案对应的梯度舍入为零,而错误答案的微小梯度仍然存在。梯度本应告诉模型如何调整,且这些梯度之和应为零;此时平衡被破坏。作者把最大项从指数求和中单独处理,让正确答案的梯度直接等于其余梯度之和的相反数,从而保住训练信号。
论文还指出,在知识蒸馏——让学生模型模仿教师模型——中,两者分数相同或很接近时,标准算法会因相近概率相减而产生虚假残差。作者改为直接在对数空间处理两组 logit。按论文自述,这两项修补可消除 Slingshot 式损失尖峰,并避免学生模型无故偏离教师;目前材料未提供跨框架、跨任务的独立复现结果。