同样是五天的气温,把周一和周五对调,数值没有变,故事却变了。Gurjinder Kaur 的这份视觉指南解释了一个容易忽略的问题:Transformer——以注意力机制为核心的序列模型——能同时比较许多时间点,却不会天然知道哪个在前、哪个在后。对时间序列来说,顺序和时间间隔本就是数据的一部分,因此这不是一个可有可无的细节。
文章从五个工作日的气温讲起。每个温度先经由训练得到的线性映射,变成模型能处理的多维向量;但这个向量只表示“观测到了什么”,没有说明“它发生在何时”。随后,自注意力(让每个时间点按内容相关性汇总其他时间点的信息)可以找出哪些观测彼此相关,却仍无法仅凭内容辨认先后。位置编码由此登场:它给观测附上序列位置、时间戳或相对间隔等信号,让模型区分昨天与上月,并学习趋势和周期。值得保留的边界是,位置编码提供时间坐标,却不等于模型因此自动掌握所有趋势与周期。