脑机网 脑机网LOGIC.WANG
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章
ESC

腾讯开源了一个专治「人声和伴奏各走各的」的写歌模型

## 关键要点

2026-11-17 · 2009 字 · 脑机网信息截止 2026-11-17

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

关键要点

  • 腾讯 AI Lab 于 2025 年 6 月开源 SongGeneration,随代码一同发布的论文名为 LeVo,刊于 arXiv,编号 2506.07520。
  • 模型同时建模「混合 token」与「人声、伴奏双轨 token」,由两个 decoder-only 结构并行处理,目的是既保住细节又不让两条轨跑偏。
  • 论文的主观听测由中国传媒大学音乐与录音艺术学院参与设计;作者称其在客观与主观指标上均优于现有开源方法,与工业级系统「有竞争力」。
  • 权重、代码与在线 demo 全部公开,支持中英文流行、嘻哈、古风与电子等风格,以及多语种歌词输入。

一段人声抢在鼓点前面

一首歌里,人声比鼓点早了那么一点点。单独听人声,像;单独听伴奏,也像;合在一起,却像两段录音被硬接了起来。

这正是腾讯 AI Lab 想解决的那个具体毛病。难的不是机器会不会写歌,而是写出来的歌能不能从头到尾待在同一间屋子里。

2025 年 6 月,团队把 SongGeneration 开源,同时放出论文、可用权重和一个演示页面。交付本身带着一种少见的坦白:他们谈的不是能不能生成,而是生成的东西会不会散。

同一套东西,两个名字

SongGeneration 是开源项目的名字,开发者下载的是它。论文叫《LeVo: High-Quality Song Generation with Multi-Preference Alignment》,2025 年 6 月上传 arXiv。名字在引用文献时是 LeVo,拉代码时是 SongGeneration。

作者名单像个小联合体:清华大学深圳国际研究生院与腾讯 AI Lab 的研究人员,加上武汉大学、香港中文大学(深圳)、上海交通大学和南京大学的合作者。代码放在腾讯 AI Lab 的 GitHub 账号下,演示挂在 Hugging Face。

为什么把两条轨道拆开这么难

主流的歌曲生成系统大多要在两件事里选一件。

第一种,把歌声和乐器混成一条音频 token 流去预测。好处是两条轨天然同步,坏处是每条轨能承载的细节被压扁了。

第二种,人声一条、伴奏一条,分开预测。保真度上去了,但两条轨容易越走越远——开头还对得上,副歌就开始互相让路。

LeVo 想两头都要。它的语言模型 LeLM 并行建模两类 token:一类是代表混合音频的 token,一类是分别编码人声与伴奏的双轨 token。两个仅含解码器的 Transformer 分管这两路,再用一种模块化的扩展训练策略,防止两类 token 互相干扰。论文随后用直接偏好优化(DPO)把输出对齐到多种人类偏好上,训练数据由半自动化流程构造。

翻译过来:一只眼看整体是不是一伙的,一只眼看细节够不够,最后一步后训练把它往听众喜欢的方向推。

发布包里到底有什么

腾讯方面说,开源版本支持文本控制、多轨合成和风格跟随。列出的场景从短视频配乐、游戏音频,到虚拟人演出和广告。兼容中英文流行、嘻哈、古风与电子,多语种歌词输入与一键生成都在列。

  • 权重与代码: 发布在腾讯 AI Lab 的 GitHub 账号,Hugging Face 上有在线 demo。
  • 论文: arXiv:2506.07520,作者附了音频样例。
  • 评测: 主观测试与中国传媒大学的研究团队合作完成,其音乐与录音艺术学院提供了听测方法。

这不是脚注级的细节。音乐生成的主观打分极容易做坏——找十个同事随便听一遍也能叫主观评测。请一所音乐学院来设计听音实验,是让那些分数具备一点意义的合理做法。

「有竞争力」这四个字的分量

论文的说法是:LeVo 在客观与主观指标上均超过现有开源方法,与工业系统相比具备竞争力。

这是作者的原话。「具备竞争力」这个措辞在句子里承担了很重的活——它没有被升级成「超过所有商业产品」,读者也不该替它升级。

对海外读者来说,意义不在胜负,而在可获得性。一个带完整权重、附带论文的歌曲模型,意味着任何国家的开发者都能拆开架构看、用本地素材微调、并且不必按秒付 API 费用。

更难的问题还在后面:生成一段好听的四十秒,和运营一个艺人形象统一、歌词权利清晰、收益可预期的曲库,是两件不同的事。开源一个 checkpoint 解决不了后者。

诚实的局限

这篇稿子依据腾讯官方开发者文章、公开的 arXiv 论文与国内科技媒体报道,我没有用发布出来的模型实际生成过歌曲,所有性能表述都来自作者。发布时论文仍标注为在审预印本,同行评审可能改变结论边界。听测方法与具体分数我没有独立复核,也没有用同一组提示词把 SongGeneration 与商业服务对比过。生成音频的授权条款值得单看,本文不判定输出音轨归谁。

普通人现在能做什么

  • 从腾讯 AI Lab 的 GitHub 仓库拉权重,做一次最简单的 A/B:同一段歌词、同一风格跑两遍。重点听后段人声与伴奏是否脱节——那正是这个模型瞄准的失效模式。
  • 如果你在做音频工具,把论文和代码对着读。值得看懂的是双 token 那套设计,不是标题里的跑分。
  • 商业使用任何生成音轨之前,先看模型许可证,再看你所在地关于声音肖像和歌词权利的规定。开源权重不等于权利清晰。

数据与信源

信息截止 2026-11-17。文中数据以该日期前已公开的信息为准。

本文引用 公开报道与公司公告(未逐条列示)。

本站历史文章在正文中标注了来源机构与时间,但未逐条附原始链接。如需核验文中任一具体数字,请在评论区注明段落与数据,我们会在 2 个工作日内补出处。

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

查看「AIGC内容」更多内容 → · 返回首页

引用本文

欢迎媒体、智库与研究机构引用。引用时请注明来源「脑机网」并保留原文链接,同时保留文章页标注的「信息截止」日期。转载规则见 引用与转载规范。

GB/T 7714脑机网编辑部. 腾讯开源了一个专治「人声和伴奏各走各的」的写歌模型[EB/OL]. (脑机网)[2026-11-17]. 北京: 脑机网, https://aiai.cafe/a/njw-425e69. 2026-11-18.
APA脑机网编辑部. (2026, November 17). 腾讯开源了一个专治「人声和伴奏各走各的」的写歌模型. 脑机网. https://aiai.cafe/a/njw-425e69
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章