想在 Mac 上离线跑 AI，常见困惑是：同样的机器和模型，别人晒出的速度很快，自己却怎么也复现不了。这篇手记给出的答案是，问题往往不只在硬件。作者称自己连续两周测试 Apple Silicon——Apple 为 Mac 设计、让 CPU、GPU 共用内存的芯片——发现其本地推理工具链仍很零散。所谓本地推理，就是模型直接在电脑上运行，数据不用交给云端。
以最新 Qwen 模型为例，CUDA——NVIDIA 的 GPU 计算平台——生态已经整合了多种推理优化；Mac 端则分散在 mlx-lm、vllm-metal、各类分支和定制模型转换中，没有一个框架全部覆盖。作者特别指出，新版 Qwen 混合使用 KV Cache 与循环状态；前者可理解为模型生成时保留的“草稿”，免得重复计算。这种设计让提示复用与预测加速更难配合，而 mlx-lm 转换模型时还会丢弃内置的 MTP heads，也就是帮助提前预测后续内容的组件。按作者实测，vllm-metal 目前最接近完整方案。结论很克制：Mac 并非不能跑，真正需要校准的是软件成熟度，以及社区成绩能否在你的工具组合里复现。