Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.008 — 2026-07-12
NEWS 约 1 分钟

CPU语音助手开始追求可用延迟

Qwen3-ASR 与 Kokoro-TTS 转到 CPU,给本地大模型腾出整块 GPU。

IMAGE — r/LocalLLaMA 日榜

本地语音助手常见的尴尬是:听你说话、组织答案、再把答案念出来,都可能争抢同一块 GPU。liampetti 的测试换了种分工:用 ONNX——一种方便模型跨设备运行的格式——把 Qwen3-ASR 语音识别和 Kokoro-TTS 语音合成都放到 CPU,让 GPU 完整留给本地语言模型。

作者在 2022 款 MacBook M2 和 AMD Ryzen 9 7900 上演示了这条链路。VAD(用于判断用户何时停止说话)一触发,指令就交给预设规则执行;因此除获取 Spotify 音乐外,等待主要来自语音识别与合成。按作者的主观描述,M2 已“基本可用”,Ryzen 9 则很快。不过材料没有给出端到端延迟——也就是从用户说话到助手开始回应的总等待时间——的具体数字,暂时只能把它看作一次可复现的工程演示,而非严格性能比较。


供稿材料 SOURCES — 1

← 返回 2026-07-12 · 开源板块