你想在自己的电脑上运行一个超大模型，难处不只是“模型文件太大”。模型开始回答后，还要不断保存读过的内容；遇到不同问题，又要临时调入不同的“专家”。像搬进一间小公寓：家具、工作台和储物柜都在抢同一块地方。RotaryQuant的思路，是三处一起省，而不是只压缩模型文件。
论文称，这套系统可把总参数量为120B的MoE模型Nemotron-H 120B控制在17.2 GB峰值内存，并达到14.85 tok/s。tok/s是模型每秒生成的词元数，词元可以粗略理解为文字片段。这个结果值得关注，因为它挑战了一个常见部署习惯：超大MoE模型未必只能依靠数据中心显卡。不过，120B指MoE的总参数量，不代表每生成一个词元都会调用全部120B参数；而且全部实验实际运行在一台配有128 GB统一内存的Apple M4 Max上。论文用峰值内存来验证16—32 GB预算，并未在对应的小内存机器上完成同等测试。本文所有性能与质量数字均来自这篇论文，尚无独立复现。
三处内存，要一起腾
MoE，即混合专家模型，可以想成一家按病情分诊的大医院。院内有许多“专家”子网络，但处理一个词元时只叫来少数几个。这样可以降低当次计算量，问题是所有专家仍要存放在某处，并在需要时及时调入。
RotaryQuant把压力拆成三部分。
第一部分是权重，也就是模型训练后留下的大量数字。系统使用量化——以较少比特保存这些数字，像改用更粗的刻度记账。它没有一刀切，而是采用混合精度：普通的dense layers用4-bit，被动态选中的routed experts用2-bit，shared expert则保留8-bit。论文给出的理由是，共享专家的激活值更容易出现极端分布，不耐受激进压缩。
第二部分是专家驻留。系统采用LRU expert offloading：LRU意为“最近最少使用”，内存紧张时，许久没被调用的专家会被移到磁盘，需要时再载入。这能省内存，却会用磁盘读取延迟换取可运行性。因此，“装进32 GB预算”不等于所有权重一直放在内存里。
第三部分是KV Cache。它是模型生成文字时保存的中间结果，可以理解为一张随上下文增长的草稿纸，让模型不必每次都从头计算。上下文越长，这张草稿纸越大。RotaryQuant在这里加入了新方法IsoQuant，把KV Cache压到3-bit。
妙处不只是压缩，而是不再展开
以往的低比特KV Cache方案，常见流程是先压缩保存，计算注意力时再还原成完整的高精度数据。注意力是模型从前文中寻找相关信息的机制。这样虽然仓库存得更省，开工时仍要把货物全部拆箱，占用内存并增加数据搬运。
IsoQuant改成直接在打包后的3-bit数据上计算注意力，不先生成完整的FP16 KV状态。论文用四个融合的Metal GPU kernel完成这条流水线：直接计算查询与键的匹配分数，执行softmax，再从压缩的值中累加结果，最后做逆旋转。kernel可以理解为在GPU上执行的一小段专用计算程序。
3-bit量化容易被少数特别大的数值拖累。IsoQuant因此先“摊平”数据：用Walsh–Hadamard transform做全局混合，再用分块的SO(4) rotation调整每组四维数据，让能量更均匀地分布到各个维度，随后才做标量量化。直观地说，它先把一堆高低不平的货物重新摆匀，再换成更粗的尺子测量，减少某几个突出部分独占误差预算。
这种结构化旋转的计算复杂度为，每个注意力头只需保存256个参数。论文对比的dense rotation需要计算和16,384个参数。完整计算量为1,408次FMA，而稠密旋转为16,384次；FMA是一次乘加运算。
省内存，不等于更快
端到端测试中，Gemma 4-26B-A4B达到12.85 tok/s，峰值内存5.4 GB；Qwen3.6-35B-A3B达到15.6 tok/s，峰值6.8 GB；Nemotron-H 120B达到14.85 tok/s，峰值17.2 GB。前两者对应16 GB目标预算，后者对应32 GB。三款模型的质量门均为12/12；前两款中的Gemma与Nemotron-H通过了两小时持续运行测试，Qwen3.6的持续测试尚未完成。
但论文自己的消融实验给出了重要反面结果。Gemma 4在无需卸载专家、使用普通FP16 KV Cache时可达109.8 tok/s；换成IsoQuant后降至20.6 tok/s。开启磁盘卸载后，两种KV模式分别只有1.01和1.05 tok/s。也就是说，这不是普遍加速器，而是内存不够时的“可运行性工具”：它用额外计算和磁盘等待，换取模型能够启动。
收益也取决于模型结构。KV注意力占Gemma 4和Qwen3解码时间的51%和54%，压缩这里影响很大；在混合Mamba与MoE结构的Nemotron-H中，它只占14%，系统时间更多花在专家和其他部分。
质量方面，论文报告相对FP16 KV Cache的困惑度退化接近于零，。困惑度是衡量模型预测下一个词有多“意外”的指标，通常越低越好。Qwen3.6在32K上下文的初步测试中，困惑度差异为0.024%；在4K、8K、16K和32K的“大海捞针”检索测试中均达到100%。这些结果说明3-bit压缩在所测任务中保住了信息，但不能外推为普遍的长文本理解能力。
为什么值得关注
RotaryQuant真正有意思的地方，是把部署问题看成一套联动的内存账本：权重先按部件分配精度，KV Cache改变保存与计算方式，专家再按需进出内存。单独压一处，可能只是把瓶颈推到另一处；三处配合，才让总参数量120B的MoE进入消费级内存预算的讨论范围。
它也展示了一个更广的方向：压缩数据不必在计算前完整还原。若硬件程序能直接处理压缩表示，省下的不只是存储，还包括中间展开和搬运。论文已把IsoQuant作为新KV类型接入llama.cpp；融合版本的生成速度为96.98 t/s，接近其TurboQuant基线的100.15 t/s，而未融合版本降至81.92 t/s，说明kernel融合并非装饰，而是这套执行方式成立的关键。
局限与未知
- “消费级硬件”的证据仍不完整。实验平台是128 GB Apple M4 Max，16—32 GB设备只由峰值内存预算间接验证；论文没有给出目标设备上的磁盘性能、功耗、批大小和完整测速口径。
- IsoQuant目前不支持采用MLA/RoPE分区的架构。论文以DeepSeek-V2为例：位置编码所在维度不能直接接受同样的旋转和量化，所需的子块拆分尚未实现。
- 长上下文验证仍属初步结果。主要困惑度测试在2K上下文完成，跨模型的8K—32K完整测试仍在进行；服务端并发能力也未成熟，8个并发客户端中有4个曾返回空响应。