Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.006 — 2026-07-10
NEWS 约 2 分钟

MTPLX V2 提速 Mac 本地 Qwen

MTPLX V2 让 Mac 本地跑 Qwen 更快,作者称可到 82 TPS

IMAGE — r/LocalLLaMA 日榜

在 Mac 上本地跑大模型,最直接的痛点不是“能不能跑”,而是“等不等得起”。你问一句,模型一个字一个字往外吐;速度慢时,再强的本地隐私和离线体验也会被耐心抵消。MTPLX V2 看点就在这里:它瞄准 Apple Silicon 上的 MLX 模型推理,作者 YoussofAl 在 reddit-localllama 发帖称,Qwen 3.6 27B 在 MacBook Pro M5 Max 上跑到了 82 TPS。TPS 指每秒生成 token 数,可以粗略理解为模型“出字”的速度。这个数字来自作者自述和帖子中提到的初步 benchmark,尚未独立核查。

它的关键更新叫 Turbo Mode。说白了,就是把大模型推理里最吃算力的矩阵乘计算做得更贴近机器本身。材料里提到的“量化矩阵乘 kernel”,可以理解为专门为压缩后的模型参数定制的底层计算例程;kernel 越顺手,Mac 芯片就越少做无用功。V2 还加入了 compiled verify step,并改进 SSD KV cache 和长上下文工具调用。KV cache 是模型读上下文时存在草稿纸上的中间结果,长对话、长文档和工具调用越多,这张“草稿纸”对速度和内存就越关键。

所以这条进展不只是一个跑分截图。它说明 MLX 这条 Mac 本地大模型路线还在继续补短板:不只让模型能在个人电脑上运行,也在把输出速度、长上下文和工具使用这些日常体验往前推。边界也很清楚:目前材料没有披露完整测试配置、模型量化细节或可复现实验步骤,82 TPS 只能先按作者发布的初步结果看。


供稿材料 SOURCES — 1

← 返回 2026-07-10 · 开源板块