读一整座代码库，只为回答一个局部问题，就像为找一句话逐字精读整本书。大模型通常正是这样做：在预填充（收到长提示后处理全部输入并建立 KV Cache 的阶段）中，每一层都计算所有 Token——也就是被切分后的文字单元。输入越长，等待和显存压力越大。
TokenGate 给现有模型加了一个轻量组件，学习哪些 Token 值得继续计算，思路类似先略读、再精读。关键难点是 Top-K——只保留得分最高的 K 个 Token——不便直接用梯度训练。作者借鉴 Mixture-of-Experts，用 Token 重要性分数重新加权注意力，让筛选可以端到端学习，并称这种改造适用于 Qwen3 等标准 Transformer，也适用于 Qwen3.5 等混合注意力模型。
按作者公布的跨任务结果，TokenGate 在不降低准确率的情况下，将首个 Token 的等待时间加快 1.4 至 11.3 倍，峰值显存降至原来的约 1/1.5 至 1/3.4；相比此前表现最好的 Token 剪枝方法，预填充最高快 6.4 倍、峰值显存最多减半。这些效果目前来自作者自述，材料未披露具体任务、硬件和各项结果分布。