把大模型塞进显存较小的设备，有点像压缩照片：文件轻了，细节也可能跟着丢。QUASAR 这次为 Qwen3.5-4B、Gemma 4 E4B/12B 和 Muse Glimmer 30B 发布了 4-bit QAT 权重。4-bit 量化就是用更低精度保存和计算参数，能减少显存占用；QAT（量化感知训练）则让模型在训练时提前适应这种误差。
它最值得注意的一步，是让量化模型模仿原始 BF16 高精度模型自己的回答，相当于由原版充当老师，再“修补”压缩后的版本。项目作者称，在留出提示词上的 KL 指标——衡量量化版输出与 BF16 输出差异，越低越好——Gemma 4 E4B 的 vLLM 版本为 0.022，低于 Google QAT 的 0.064；Muse Glimmer 30B 的 NVFP4 版本为 0.0183，低于 NVIDIA 版本的 0.0300。权重还提供 vLLM 使用的 NVFP4，以及 llama.cpp、Ollama、LM Studio 常用的 GGUF 标准格式，无需专用转换。上述精度与性能结果均来自项目作者自测，材料未提供独立复现。