关键要点
- 腾讯 AI Lab 于 2025 年 6 月开源 SongGeneration,随代码一同发布的论文名为 LeVo,刊于 arXiv,编号 2506.07520。
- 模型同时建模「混合 token」与「人声、伴奏双轨 token」,由两个 decoder-only 结构并行处理,目的是既保住细节又不让两条轨跑偏。
- 论文的主观听测由中国传媒大学音乐与录音艺术学院参与设计;作者称其在客观与主观指标上均优于现有开源方法,与工业级系统「有竞争力」。
- 权重、代码与在线 demo 全部公开,支持中英文流行、嘻哈、古风与电子等风格,以及多语种歌词输入。
一段人声抢在鼓点前面
一首歌里,人声比鼓点早了那么一点点。单独听人声,像;单独听伴奏,也像;合在一起,却像两段录音被硬接了起来。
这正是腾讯 AI Lab 想解决的那个具体毛病。难的不是机器会不会写歌,而是写出来的歌能不能从头到尾待在同一间屋子里。
2025 年 6 月,团队把 SongGeneration 开源,同时放出论文、可用权重和一个演示页面。交付本身带着一种少见的坦白:他们谈的不是能不能生成,而是生成的东西会不会散。
同一套东西,两个名字
SongGeneration 是开源项目的名字,开发者下载的是它。论文叫《LeVo: High-Quality Song Generation with Multi-Preference Alignment》,2025 年 6 月上传 arXiv。名字在引用文献时是 LeVo,拉代码时是 SongGeneration。
作者名单像个小联合体:清华大学深圳国际研究生院与腾讯 AI Lab 的研究人员,加上武汉大学、香港中文大学(深圳)、上海交通大学和南京大学的合作者。代码放在腾讯 AI Lab 的 GitHub 账号下,演示挂在 Hugging Face。
为什么把两条轨道拆开这么难
主流的歌曲生成系统大多要在两件事里选一件。
第一种,把歌声和乐器混成一条音频 token 流去预测。好处是两条轨天然同步,坏处是每条轨能承载的细节被压扁了。
第二种,人声一条、伴奏一条,分开预测。保真度上去了,但两条轨容易越走越远——开头还对得上,副歌就开始互相让路。
LeVo 想两头都要。它的语言模型 LeLM 并行建模两类 token:一类是代表混合音频的 token,一类是分别编码人声与伴奏的双轨 token。两个仅含解码器的 Transformer 分管这两路,再用一种模块化的扩展训练策略,防止两类 token 互相干扰。论文随后用直接偏好优化(DPO)把输出对齐到多种人类偏好上,训练数据由半自动化流程构造。
翻译过来:一只眼看整体是不是一伙的,一只眼看细节够不够,最后一步后训练把它往听众喜欢的方向推。
发布包里到底有什么
腾讯方面说,开源版本支持文本控制、多轨合成和风格跟随。列出的场景从短视频配乐、游戏音频,到虚拟人演出和广告。兼容中英文流行、嘻哈、古风与电子,多语种歌词输入与一键生成都在列。
- 权重与代码: 发布在腾讯 AI Lab 的 GitHub 账号,Hugging Face 上有在线 demo。
- 论文: arXiv:2506.07520,作者附了音频样例。
- 评测: 主观测试与中国传媒大学的研究团队合作完成,其音乐与录音艺术学院提供了听测方法。
这不是脚注级的细节。音乐生成的主观打分极容易做坏——找十个同事随便听一遍也能叫主观评测。请一所音乐学院来设计听音实验,是让那些分数具备一点意义的合理做法。
「有竞争力」这四个字的分量
论文的说法是:LeVo 在客观与主观指标上均超过现有开源方法,与工业系统相比具备竞争力。
这是作者的原话。「具备竞争力」这个措辞在句子里承担了很重的活——它没有被升级成「超过所有商业产品」,读者也不该替它升级。
对海外读者来说,意义不在胜负,而在可获得性。一个带完整权重、附带论文的歌曲模型,意味着任何国家的开发者都能拆开架构看、用本地素材微调、并且不必按秒付 API 费用。
更难的问题还在后面:生成一段好听的四十秒,和运营一个艺人形象统一、歌词权利清晰、收益可预期的曲库,是两件不同的事。开源一个 checkpoint 解决不了后者。
诚实的局限
这篇稿子依据腾讯官方开发者文章、公开的 arXiv 论文与国内科技媒体报道,我没有用发布出来的模型实际生成过歌曲,所有性能表述都来自作者。发布时论文仍标注为在审预印本,同行评审可能改变结论边界。听测方法与具体分数我没有独立复核,也没有用同一组提示词把 SongGeneration 与商业服务对比过。生成音频的授权条款值得单看,本文不判定输出音轨归谁。
普通人现在能做什么
- 从腾讯 AI Lab 的 GitHub 仓库拉权重,做一次最简单的 A/B:同一段歌词、同一风格跑两遍。重点听后段人声与伴奏是否脱节——那正是这个模型瞄准的失效模式。
- 如果你在做音频工具,把论文和代码对着读。值得看懂的是双 token 那套设计,不是标题里的跑分。
- 商业使用任何生成音轨之前,先看模型许可证,再看你所在地关于声音肖像和歌词权利的规定。开源权重不等于权利清晰。