想让本地 AI 一次读完大量代码或文档，常见障碍不是模型“看不懂”，而是显卡装不下。显存（VRAM）要同时容纳模型权重和阅读过程中的缓存；上下文越长，这些内容占得越多。一名 LocalLLaMA 社区用户报告称，Qwen 3.8 27B 的 UD-IQ3_XXS 量化版本在16GB显存上跑出了超过20万 token 的上下文。token 是模型切分文字后的基本单位。
这次实验把模型权重压到 IQ3_XXS 这一低比特格式，同时将 KV cache 量化为 q5_1。KV cache 可以理解为模型读长文时留下的“笔记”，降低其保存精度，便能腾出空间装更多内容。设备是一台 Windows 11 笔记本，外接 Aorus 5060 Ti AI Box eGPU；eGPU 即通过外部接口连接电脑的显卡。测试未启用 MTP 和 mmproj。
代价也很直接：据作者自述，提示词处理速度从此前 UD-Q3_K_XL 的每秒700—800 token，降到约400 token；输出质量差异尚未测试。换句话说，这是一项醒目的社区边界实测，说明消费级16GB显卡可能容纳20万级上下文，但还不能据此判断质量与普遍适用性。