想在自家显卡上给大模型“补课”，显存往往先撑不住。QLoRA 的办法是冻结压缩后的基础模型，只训练一小组附加参数；如今，一个非官方社区项目把这套训练方式原生接入 ExLlamaV3，让 EXL3 量化模型可以在 2—8 bpw 之间直接微调。bpw 指每个权重平均占用的比特数，越低通常越省内存，也越考验精度保持。
过去这类训练常受限于 BNB 4-bit。作者公布的同数据、同硬件测试中，Qwen3.5-4B 在 EXL3 4.0 bpw 下峰值显存为 11.9 GiB、评估损失为 2.152；BNB NF4 则为 12.8 GiB 和 2.183。损失越低，通常表示模型对测试数据的预测偏差越小。不过作者也称 BNB 约快一倍。
训练结果会保存为标准 PEFT 格式——也就是主流参数高效微调工具使用的适配器格式，可由 TabbyAPI、PEFT 加载，也能合并回基础模型。项目仍在开发中，上述表现均来自作者自测，尚无独立核查。