把图片生成得更细,通常意味着把图像切成更多小块;每块对应一个Token——模型处理的一份信息。麻烦是,Token越多,负责彼此对照的注意力(Attention)计算就越贵。SpecSlot试图拆开这组绑定关系:细节可以增加,但不必让所有Token都参加昂贵的全局交流。
它先用空间锚点读取局部图像,再把每个锚点展开成多个槽位,分别负责不同频率的内容:低频对应轮廓和整体明暗,高频对应纹理与边缘。每个锚点只有负责最低频的一枚Token进入全局注意力,其余Token留在锚点内部交流。换句话说,读取、分配输出和决定通信路线,不再由同一种图像分块一并承担。
作者报告,在ImageNet-512上,W256/K4相比算力匹配的JiT对照,FID降低2.84,同时GFLOPs少3.9%;相比JiT-B/16,FID仅落后0.69,成本低38.2%。这些结果来自论文作者,尚不足以说明该分工在更多数据与任务上都成立。