想在家用显卡上跑大型模型，常见妥协是把一部分权重留在主内存，再通过 PCIe 搬给 GPU；模型虽然能跑，传输却会拖慢速度。这次实验把 Qwen3.8-Flash-Next 压到 1.66 bpw——平均每个权重只占 1.66 比特——让它完整进入单张 RTX 5090，省去了这种“显存卸载”。
据 Hugging Face 模型页，量化后的多数专家张量约为 1.5-bit，输入嵌入和输出头保留 4-bit，视觉编码器也是 4-bit。页面称模型连同 MTP 头和视觉模块均可装入显卡，Agent 工作负载可达 200+ token/s。发布者则自述，模型在约 50万至100万 Token 的长编码任务中保持连贯，没有陷入推理循环；这属于作者自测，并非独立基准。
代价是上下文空间仍然紧张。即便压缩 KV Cache——模型保存已读内容中间结果的“草稿纸”——模型页给出的容量也约为 64K Token。另一个需要澄清的细节是：原帖先写“36GB 以下”，作者随后更正为“32GB 以下”，并承认记错了 RTX 5090 的显存容量。