Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.072 — 2026-09-14
REPO 487 STARS · 在榜 3 天 约 5 分钟

YuE2:音乐生成开始先谱曲再演奏

YuE2 先写可编辑乐谱,再生成完整歌曲,把音乐生成变成可检查、可翻唱、可对话修改的工作流。

IMAGE — GitHub Trending(全语言·日榜)

你让 AI 写一首歌,听到副歌旋律不对,却只能让它整首重来。问题不只是修改麻烦:许多端到端音乐模型从歌词和风格提示直接生成音频,中间怎样作曲并不会展示给你。YuE2 想换一种做法:先写出可以阅读和修改的旋律、和弦,再把这份计划“演奏”成带人声与伴奏的完整歌曲。

这项工作值得关注,不只因为项目方称其音质已经接近商业产品,更因为它把创作、零样本翻唱和对话编辑放进了同一套流程。不过,目前所有效果与功能信息都来自项目方 GitHub,尚无外部评测或第三方复现。

先谱曲,再进录音棚

YuE2 把歌曲生成拆成两层。第一层是符号音乐——用音符、节拍和和弦等离散结构记录作品,类似乐谱或 MIDI。模型根据歌词与风格提示,先生成旋律和和弦计划。用户可以阅读、播放,也可以在生成音频前修改它。

第二层才负责声音实现。项目方介绍,模型先自回归生成乐谱和 semantic tokens——用于描述音乐内容的中间表示;随后通过 flow matching 生成 acoustic latents——承载声音细节的内部表示;最后由 VAE(把压缩表示还原成成品的生成模型)解码为 48 kHz 立体声音频。官方称这一过程不使用量化。

听起来复杂,核心却很直观:乐谱像施工图,最终音频像盖好的房子。过去发现房间位置不对,往往只能推倒重来;现在可以先改图纸,再重新施工。项目提供的 Python API 也直接暴露了四个阶段:plan()generate_semantic()synthesize()decode()

仓库还允许关闭符号计划,或只指定旋律、让伴奏自由发挥。用户也能直接提交 ABC 乐谱——一种用纯文本记录旋律和节奏的格式。生成目录会保留乐谱、中间表示、参数和模型信息,方便复用同一计划或比较不同版本。

翻唱和修改,共用一套模型

这层可编辑乐谱让 YuE2 不只会“从零写歌”。项目方称,同一个 generation checkpoint——同一份训练完成的模型权重——可以完成创作、翻唱和编辑。

零样本翻唱指模型不为目标歌曲另行训练,就依据参考歌曲提取出的旋律重新演绎。YuE2 的流程是先转录源录音,检查旋律乐谱,再提供新歌词或目标风格。若只保留旋律而去掉和弦,模型便可按新风格重新安排伴奏。这里的“翻唱”强调保留作品结构并改变风格或编曲,不等于模仿原唱音色。

编辑则更像改文档。仓库附带 SKILL.md,教 AI Agent——能够调用工具并分步骤完成任务的助手——生成歌曲、转录旧歌、修改 ABC 乐谱和整理试听对比。官方演示把《The Last Train》经过 9 个步骤、14 个版本,从 Mandarin pop 改成 English jazz,并加入新和声与 saxophone solo。每次修改都会生成一份新录音,并不是在原始波形上局部修补。

YuE2 上线时还直接接管了原 YuE 的 GitHub 主分支,旧代码、文档和许可证被保留在 YuE-v1 分支。默认入口由此从第一代切换到架构和使用方式都不同的第二代,早期 v0.1.6 安装包则继续存档。

成绩应该怎样看

项目方在包含 192 个提示词的 WildSongBench 上,将 YuE2 描述为可与 Suno v5/v6 竞争。其中 YuE2 best-of-8 得到 6.9632 的 SongBench Avg,是项目所列评测设置里的最高观测均值。

这里的限定很重要。Best-of-8 是对同一输入生成八个候选,再按评分挑出最好的一份。它可能提升最终成绩,但需要八次生成成本,不能与单次生成等量比较。“最高”也只覆盖项目列出的设置,并不代表所有音乐生成模型。图中的坐标轴还是归一化比较指标,气泡面积才代表 AudioBox production quality,因此 6.9632 也不能简单理解成某种绝对音质分数。项目未提供 Suno 官方结果,相关竞争力说法目前只能视为项目方自评。

为什么值得关注

YuE2 真正有意思的地方,是把音乐生成的竞争从“谁一次吐出的成品更好听”,推向“谁能提供更可控的创作流程”。旋律、和弦、歌词与编曲不再全部封装在最终音频里,人和 Agent 都有一个明确的中间层可以检查和修改。

这也改变了失败的成本。若一首歌的人声质感不错,只是和声或速度不合适,创作者可以保留计划、修改局部,再重新渲染。创作、翻唱与连续迭代因而不再是三套割裂功能,而是“乐谱从哪里来、接下来怎样改”的不同入口。

局限与未知

  • 所有质量、零样本翻唱、同一 checkpoint 和“无量化”能力均为项目方自述,尚缺独立验证;WildSongBench 的筛选协议也会影响横向比较。
  • 官方列出的运行条件是 Linux、Python 3.12,以及支持 BF16、至少有 24 GB VRAM 的 NVIDIA GPU。这是项目推荐条件,不是经第三方确认的最低配置。
  • 代码采用 Apache 2.0,但 YuE2 模型权重采用 CC BY-NC 4.0,仅限非商业使用;这会限制它直接进入商业创作流程。

供稿材料 SOURCES — 1
01
multimodal-art-projection/YuE GitHub Trending(全语言·日榜) · REPO
原文 ↗

← 返回 2026-09-14 · 开源板块