想在 Mac 本机跑大模型，难处不只在模型能不能装下：对话或文档越长，模型保存的“临时记忆”也越占空间。ANEMLL Forge 0.2.1 称，32GB 的 M6 Mac mini 已能用 Apple Neural Engine（Apple 芯片里专门处理机器学习任务的单元）运行 Qwen3.8-27B，并把上下文窗口推到 192K token，也就是一次可处理很长的文档或代码。
关键是 INT8 KV cache。KV cache 是模型生成文字时保存既往计算结果的临时记忆；从 FP16 压到 INT8，缓存体积约减半。项目还称，更小的 drafter——用于提前猜测后续文字的辅助模型——可再省 0.86GB 神经引擎内存，同时保持相同速度。实际速度随内容变化：散文每秒 10—17 token，代码为 18—32，JSON 为 35—62；处理 192K 输入时，预填充速度为每秒 62 token。
代价是等待和取舍。完整 192K 首次编译约需两小时，之后可复用缓存；只导出 16K 上下文，从下载到启动服务器约十分钟。作者认为 96K 是 32GB 机器上容量与速度的平衡点，约占 21.4GB 内存。以上数字均来自项目发布帖，尚无独立测试佐证。