让 AI 看一场数小时的比赛,视频越长,要塞进模型的画面信息通常越多,内存和等待时间也跟着上涨。FramePack-U 想把这个增长按住:无论视频多长,都把视觉输入装进固定大小的“箱子”。视觉输入会被转成视觉 Token——模型处理画面时使用的内部信息单位;总量固定,工作内存便不再随帧数线性膨胀。
它先比较每帧与文字问题的语义相似度,再优先挑选彼此差异较大的画面;随后按重要性分配清晰度,关键帧保留更多细节,其余帧逐级缩小。这样不用微调模型,也不用修改架构,推理时即可接入现成的视觉语言模型。作者报告,在 Qwen3.5-35B-A3B、128 帧预算下,它相对官方模型在 LongVideoBench、MLVU 和 Video-MME(long)分别提升 12.9%、10.6% 和 9.7%。不过,论文也发现帧数并非越多越好:固定预算下塞入更多画面,会牺牲单帧清晰度。