想象一张配料表：每增加一种配料，可能的组合就迅速爆炸。高维问题也常如此，变量越多，所需数据或计算量可能指数增长，这叫“维数灾难”。Yuling Jiao 等人的理论工作追问：Transformer——一种让输入不同位置直接交换信息的模型架构——能否避开这道坎。这个问题值得关注，因为它试图从数学上解释 Transformer 在高维任务中的表示能力，而非测评某个聊天产品。
作者从函数逼近理论入手，也就是研究模型需要多大规模，才能把输入输出规律近似到指定误差。他们考察 Hölder 连续函数——变化不会无缘无故剧烈跳跃的一类规律——并构造了若干 Transformer。按作者证明，其中一种只用单头、单层自注意力，再接若干前馈层；达到误差 ε 时，若前馈层采用 ReLU 和 floor 激活函数，层数仅需 O(log(1/ε))，宽度不超过 O(ε^(-2/β)log(1/ε))，没有随输入维度呈指数增长。允许其他激活函数时，宽度还可降至常数。
这说明特定数学构造下，Transformer 确有绕开维数灾难的可能。不过，这是针对特定函数类别和架构族的表达能力证明；摘要没有提供真实任务实验，也不能直接推出实际模型训练同样高效。