让 AI 读一本很长的书，既要记住前文，又不能把显存和算力迅速吃光，还得保持回答质量，这三件事往往难以兼得。Virtual Head Attention（VHA，虚拟头注意力）瞄准的正是这道“三角难题”。其中，KV cache 是模型保存历史内容中间结果的“草稿纸”；prefill 则是模型正式回答前，先把整段输入读一遍的阶段。
VHA 最值得注意的一点，是用两次轻量的线性混合，从较少的实体查询头中恢复更丰富的“虚拟头”信息。由于没有加入非线性运算，这两步可在推理时并入原有投影层，最终仍以标准 GQA-2 架构运行，并直接复用现有 GQA 推理优化。作者报告，在四种规模、4K 上下文和 500 亿 token 的预训练中，VHA 均略胜标准 GQA，提升为 0.05%—0.81%；在 1.7B 模型上，训练和预填充 FLOPs（衡量计算量的浮点运算次数）降低 7.9%，KV cache 较 GQA-8 缩小 4 倍。另一次长上下文测试中，VHA 的 RULER 平均分为 84.4，GQA 为 73.0。不过这些结果目前均来自作者自述。