想让 AI 找出“声音相似”的片段,它不能只听清说了什么,还得分辨是谁在说、语气如何。社区作者 JeanMichelRanu 改造了 Google 的 EmbeddingGemma-2:这款仅有 5.77 亿参数的模型,原本在 MAEB 音频榜排第 26,改造后升至第 1,并超过榜上的 8B—9B 模型。MAEB 是覆盖语音、音乐、环境声和文音检索的音频嵌入评测;“嵌入”就是把声音和文字变成可比较的数字坐标,用于搜索和匹配,而非生成声音。
最巧的一步是利用模型向量里文字从不占用的 256 个方向。作者从较早的第 2、6 层取出仍保留声学特征的信息,再用 PCA——一种提炼主要变化方向的经典降维方法——将其压到 256 维,填进这些空位。整个附加部分只是 2.37MB 的固定矩阵,无须训练模型权重;作者称,PCA 使用了 1400 段外部音频拟合,MAEB 得分由 49.3% 提至 54.4%。这说明小模型仍可能靠更好地利用内部信息改善跨模态检索,也更适合笔记本等边缘设备。不过,榜首只代表规定数据集和指标下的成绩,不能直接等同于所有真实场景中的通用表现。