你想让电脑用熟悉的声音朗读文章,通常要把录音交给云端服务,或准备一块性能不错的 GPU。Kitten-TTS 2 想把这件事搬回普通电脑:只给不到 5 秒的参考录音,模型便能模仿声音,朗读多种语言,还能调整情绪和重音。更特别的是,它把模型主体的线性层压成了所谓的“1.58-bit”。如果实际表现经得住验证,本地配音、朗读和语音助手的门槛会明显下降。不过,目前这些能力主要来自 KittenML 发布信息的单一转述,缺少基准测试和第三方复现。
1.58 比特到底是什么意思?
TTS 是 Text-to-Speech,也就是把文字合成为语音。模型通常需要保存大量“权重”——可以把它们理解为模型内部无数个调节旋钮。量化则是减少这些旋钮可用的刻度,以节省内存和计算量,代价可能是音质或稳定性下降。
据发布帖转述,Kitten-TTS 2 有 17 亿参数,模型主体的全部线性层权重只取 $-1$、、$+1$ 三个值。三个状态的理论信息量为:
这就是“1.58-bit”的来历。它并不表示模型文件里的每个权重实际都只占 1.58 比特:模型还要保存每 128 个权重一组的缩放系数,其他层、缓存和运行环境也会占空间。
三值权重的直觉很简单:原本每个旋钮可以停在许多位置,现在大致只剩“减、关、加”三档。这样更容易压缩,也有机会减少 CPU 的计算负担;难点是不能把声音的自然度一起压掉。发布帖称,团队为 CPU 提供了优化的三值计算 kernel——也就是专门执行这类运算的底层程序,并宣称无需 GPU 即可实时生成语音。但帖子没有给出 CPU 型号、线程数、内存占用或实时率,因此“CPU 实时”还不能推广到所有电脑。
压缩之外,它还补上了什么?
这次更新不只是把旧模型做小。据发布帖介绍,Kitten-TTS 2 相比 V0.8 换用了全新架构,并加入零样本声音克隆、多语种以及情绪和重音控制。
“零样本声音克隆”指的是:给模型一段没有参与训练的参考录音,它不必为这位说话人重新训练,就能尝试用相近音色说出新内容。KittenML 宣称参考音频可以短于 5 秒,并能保留表现力和口音信息。模型还支持 20 多种语言的声音克隆与跨语言克隆,例如让一种语言里的声音去说另一种语言;不过材料没有列出完整语言名单,也没有逐语种效果数据。
情绪和重音控制则解决另一个常见问题:合成语音不只要“像谁”,还要知道一句话该怎样说。用户可以调整表达方式,或要求模型突出某个词,而不只是从声音列表中挑选音色。
为什么值得关注?
KittenTTS 的成长路线很能说明问题。据 Y Combinator 与 Adafruit Industries 的材料,团队在 2025 年 8 月用约两周推出第一版开发者预览;最小模型不到 25MB,当时只会英语,也不能克隆声音。它随后在两周内获得约 8000 个 GitHub star 和 4.5 万次模型下载,几天后便被硬件社区装进 Raspberry Pi 4/5,做成朗读天气预报的小盒子。如今第二版试图把声音克隆、多语种和表达控制也塞进本地模型,目标已从“小型朗读器”走向更完整的语音工具。
但“世界首个 1.58-bit TTS”需要谨慎看待。按编辑部调查材料,研究者早在 2025 年 6 月就发表了 BitTTS,把语音模型的大部分权重量化为三值。因此,Kitten-TTS 2 的“首个”或许需要限定为某种完整架构、可下载成品或训练方式;现有材料不足以确认。帖子宣称的“open-source SOTA”同样没有配套评测集、对照模型或盲听结果。
局限与未知
- 目前只有一个机构相关信源,CPU 实时、短音频克隆质量和口音保留均缺少独立复现。
- 公开材料没有提供音质基准、盲听结果、硬件配置及各语言的分项表现。
- 代码和权重虽被宣称为开源且免费使用,但材料没有许可证内容,尚不能判断商用与再分发限制。