Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.106 — 2026-10-18
NEWS 约 5 分钟

语音Agent终于学会何时插话

Tyger把边听边转写和轮次判断合进一个小模型,尝试让语音Agent知道何时回答、停下或只应一声。

IMAGE — r/LocalLLaMA 日榜

你话说到一半,语音 Agent 突然抢答;你插嘴纠正,它还在滔滔不绝;扬声器里放出的声音,又被它当成你在讲话。Tyger 想解决的就是这些不太显眼、却直接决定对话是否顺畅的问题:让机器不只听清内容,还能判断现在该回答、闭嘴,还是简单应一声继续听。

发布方将 Tyger 称为一个开放权重的小模型。它把流式 ASR——也就是在人还没说完时持续把语音转成文字——与全双工轮次控制放进同一个模型。全双工意味着用户和 Agent 可以同时发声,像打电话一样;轮次控制则负责判断此刻究竟该谁说话。本文的数据和效果均来自发布方自述,尚无独立测试交叉验证。

每 80 毫秒做一次选择

Tyger 以 NVIDIA Nemotron 3.5 ASR Streaming 0.6B 为基础,上面叠加一个 1400 万参数的 causal GRU。GRU 是一种适合处理连续时间序列的轻量循环神经网络;“causal”表示它只依据已经听到的内容判断,不偷看未来音频。

发布方称,模型每 80 毫秒做一次决定,而且不使用 lookahead——即不额外等待后面的声音来辅助判断。它只在三种状态中选择:

  • answer:用户已经说完,Agent 可以回答;
  • stop:用户正在插话,Agent 应停止播放自己的回答;
  • chime in:Agent 可以说一句“mm-hm”或“oh, really”,但仍继续听,不把这当成自己正式接管话轮。

这个设计的关键,不是让 Agent 多说,而是把“什么时候说”压缩成一组可持续更新的动作判断。好比通话时不断观察对方是否还要继续:一句“嗯”可以表示“我在听”,并不等于“接下来轮到我讲”。三状态分类提供了一个清楚的控制接口,但它不等于模型已经能在所有开放场景中真正理解插话时机。

它还要听见自己的声音

全双工系统有一个麻烦:麦克风不只会收到用户声音,也可能收到 Agent 从扬声器播出的回答。如果系统分不清来源,就可能把自己的回声误判为用户插话。

Tyger 因此同时接收麦克风输入和 Agent 自身的播放音频。发布方认为,这能帮助模型识别回声。不过材料没有给出独立实验或具体错误率,因此更准确的说法是:它在输入设计上正面处理了回声混淆,而不是已经证明“不会听错”。

这也解释了为什么短促附和值得单独建模。据 CNN Business 回顾,2018 年 Google Duplex 演示里的“mm-hm”曾因过于像真人而引发关注和身份披露争议。到了 Tyger,这种声音不只是拟人化装饰,而是一种明确的轮次信号:我在听,你继续。

从模型到完整语音 Agent

发布方还提供了完整系统 tyger-s2s,并称其采用 Apache-2.0 许可证。材料列出的组合是 Tyger、Gemma 4 E4B FP8 和 VoxCPM2,支持工具调用与最多 4 路并发对话。不过 Gemma 4 E4B FP8 的型号名称可能有误或含糊,发稿前仍需核对;Apache-2.0 的表述也只明确指向 tyger-s2s,不能据此推定所有底层权重都能按同一许可证任意使用。

发布方称,在 RTX 5090 上,从用户语音结束到首段音频输出约需 0.7 秒。这个数字没有包含端点检测可能造成的等待,也没有说明样本量、分位数、音频长度和负载条件,因此只能视为一次发布方口径的延迟指标。

系统还带有一个默认关闭的 OpenAI 托管“expert”。按发布方说法,关闭它以后,音频和文本都不会离开本机,整套系统可以本地运行。这对在意数据边界的用户有吸引力,但目前同样缺少第三方审计。

为什么值得关注

语音 Agent 的体验瓶颈,未必只是“听错了几个字”。更难的是它能否等待、能否被打断,以及能否用一句简短回应表明自己仍在听。Tyger 的价值,在于把转写与这些即时动作放进同一条流式判断链路,直接瞄准真实通话里最容易露馅的部分。

它也提醒我们:更像人的语音交互,不只是声音自然。真正困难的是节奏。Agent 需要知道什么时候开口,更要知道什么时候不要开口。

局限与未知

  • tyger-s2s 完整栈需要 28 GB VRAM,目前只在 RTX 5090 上测试;其他显卡表现未知。
  • Tyger 当前只支持 FP32,量化尚未测试。量化是用更低精度表示模型参数,以减少显存和计算开销。
  • 目前只有离线基准结果,没有真实用户对话中的公开评测;回声处理、4 路并发和约 0.7 秒延迟也都缺少独立复现。

供稿材料 SOURCES — 1

← 返回 2026-10-18 · 开源板块