把神经网络想成一台带随机性的预测机器:同一输入可能给出不同结果。过去常把无限宽网络近似成高斯过程——一种既给预测、也描述不确定程度的概率模型。但真实网络宽度有限,训练后的参数也未必彼此独立,这套理想化近似究竟偏了多少,一直难以说清。
Steven Adams 等人改用高斯过程混合:像综合多种天气模式,而非押注单一模式,以容纳有限网络中并非完全高斯的随机性。关键一步是先把每层的连续输出压成一组离散代表点,再精确传过下一层,并逐层累计误差。论文用 2-Wasserstein 距离衡量两个概率分布的差异,给出可证明的误差界;在有限输入点上,增加混合成分可让该界任意小。
更实用的是,这个误差界可分段求导,因而能用梯度调整网络参数,让网络在功能上接近指定的高斯过程。换句话说,它不只解释有限网络,还能指导先验选择——决定模型看数据前更偏好哪类函数。作者也指出,网络越深,计算成本会随之增加。