看注意力热力图,就像看一张总有亮处的天气图:最亮的位置很醒目,却未必真有异常。Transformer 的注意力会给图像小块或时间片段分配权重,但高权重只表示计算联系更强,不自动等于可靠解释。这项 JMLR 研究要解决的,正是怎样判断亮区是否可能只是随机波动。
据 JMLR 论文,研究者为图像和时序 Transformer 的高注意力区域计算 p 值——假设没有真实信号时,出现当前或更极端结果的概率。方法采用“选择性推断”:把模型先生成、再挑出亮区的过程也算进检验,避免用同一份数据既挑答案又证明答案。
最直观的例子来自早期视觉 Transformer:对一张无肿瘤图像,朴素检验给出接近 0 的错误显著 p 值;校正后的选择性 p 值为 0.801,正确判为不显著。它不能证明注意力就是因果解释,但把“看起来很亮”推进成了可控制误报率的统计证据。