给大模型“减负”，可以删掉一半权重，也可以让每个权重少占几比特。前者像按固定座位表每四个只留两个，这就是 2:4 半结构化稀疏；后者叫量化。论文把两条路线放到真实 LLM 推理条件下对账，因为只有 GPU 的 Tensor Core——专做大规模矩阵乘法的单元——真正吃到这种格式，账面节省才会变成速度。
最值得注意的是，稀疏并非天然省一半空间：留下的值还要附带位置索引。论文算入这些元数据后发现，2:4 INT8 的存储成本其实相当于稠密 INT5。只要硬件还有更低精度可用，作者测得继续量化既更准也更快；原因是量化误差会随比特增加而下降，而每四个数强行删两个造成的信息损失不会消失。
但到了硬件支持的最低精度，结论会翻转：在 FP8 上叠加 2:4，可让线性层提速 1.3–1.7 倍；H100 上，经重新训练的模型由 vLLM 部署后，预填充吞吐量比稠密 FP8 高 27%，GSM8K 准确率相当。代价是必须重新训练，直接剪枝并不可用。说白了，2:4 不是首选压缩手段，更像量化已经到底后的下一张牌。