调收音机时,杂音通常是一点点盖过声音;但模拟 AI 芯片里的误差,可能更像突然断线。模拟存内计算把模型权重存在模拟存储单元中,并直接完成运算,省去数据来回搬运。代价是器件波动会让实际权重偏离目标值。值得警惕的是,这种偏差增加时,模型准确率未必平缓下降。
据实验作者 Georgiou1226 在 Reddit 分享的结果,普通训练的网络起初能顶住权重噪声,越过某个点后,准确率却从 83%跌到 64%,随后接近随机猜测。作者再用“噪声感知训练”——训练时主动模拟硬件误差——在相同噪声下把准确率从 39%提高到 61%,相当于把坍塌阈值向后推。
这直接关系到芯片怎么设计容错裕量:工程重点不只是让误差尽量小,而是确保制造、校准和运行波动始终不过那条线。不过,这只是作者公开的一项简单实验;阈值为何出现,以及“更平坦的最优解”是否真是改善原因,仍未确定。