Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.114 — 2026-10-26
PAPER H 70 约 1 分钟

Softmax和交叉熵可能有数值漏洞

极端分数下,标准 Softmax 会吞掉关键梯度;论文给出基础算子的直接修补。

像记账时把几分钱舍掉,单次看似无碍,反复累积却可能让账目失衡。论文指出,几乎所有分类神经网络都会用到的 Softmax 和交叉熵,在极端分数下也会如此:Softmax 把模型给各答案的原始分数(logit)换成概率,交叉熵再根据正确答案的概率生成训练惩罚;但电脑只能用有限位数表示数字,小信号可能在运算中消失。

当正确答案的 logit 远高于其他答案时,标准实现虽用“减去最大值”避免数值溢出,却会把正确答案对应的梯度舍入为零,而错误答案的微小梯度仍然存在。梯度本应告诉模型如何调整,且这些梯度之和应为零;此时平衡被破坏。作者把最大项从指数求和中单独处理,让正确答案的梯度直接等于其余梯度之和的相反数,从而保住训练信号。

论文还指出,在知识蒸馏——让学生模型模仿教师模型——中,两者分数相同或很接近时,标准算法会因相近概率相减而产生虚假残差。作者改为直接在对数空间处理两组 logit。按论文自述,这两项修补可消除 Slingshot 式损失尖峰,并避免学生模型无故偏离教师;目前材料未提供跨框架、跨任务的独立复现结果。


供稿材料 SOURCES — 1
01
A Fix for Softmax and Cross-Entropy arXiv (cs.AI+cs.LG+cs.CL+cs.CV+stat.ML) · PAPER
原文 ↗

← 返回 2026-10-26 · 学术板块