拿到一首歌,想把鼓、贝斯和键盘分别扒出来改编,过去往往得先找到或制作分轨。MuScriptor想把这一步压缩掉:给它一段成品录音,它会辨认其中的乐器,并分别输出人声、鼓、贝斯、键盘等MIDI轨道。MIDI不是声音文件,而是描述“什么乐器在何时演奏哪个音”的控制信息,因此还能继续换音色、改调和调整节奏。
这项工作由 Kyutai Labs 与 MireloAI 合作发布。它最值得注意的一点,是直接处理完整混音,不要求用户预先准备stem——也就是从混音中拆出的人声、鼓或贝斯等音频声部。系统还会检测和弦、调性与速度,为后续编曲提供更完整的音乐线索。Kyutai Labs称它适用于流行、古典、金属和爵士等不同类型,并称其为目前最好的开源多乐器转写模型;不过现有材料没有披露评测数字、授权方式及复杂混音中的具体准确率,这些效果仍需进一步验证。