11月13日，腾讯混元发布实时语音模型 Hy Realtime。
发布稿里最显眼的是唱歌。真正的信息在另一句：它已经在元宝的语音通话和腾讯客服上线。
唱歌是和腾讯音乐一起做的
据混元官方发布内容，唱歌能力由混元团队与腾讯音乐 TME 灵音 AI 团队深度共同设计，支持按歌手、专辑、曲风、语种、发行年份、热度组合点歌，也能承接前文继续选。
官方给的例子是：用户说来首 2010 年到 2020 年之间的英文民谣，模型结合多轮上下文理解意图、匹配歌曲并演唱。
客服才是它先落地的地方
语音模型最难的不是唱得好，是接得住。
真人的说话方式是含糊的：话说半截、中途改口、口齿不清、背景嘈杂。混元方面的说法是，模型可以结合对话上下文，对这类不完整输入做意图还原。
客服场景对这三件事的容忍度是零。用户不会因为对面是 AI 就把话说清楚。
所以把它先放进客服，是一次比发布会更硬的测试。
工具调用是另一条线
Hy Realtime 还能自己判断要不要联网搜索：根据对话上下文和意图决定是否调用工具，把决策、检索、作答合成一条链。
这一步的意义在于，语音助手过去是问一句答一句，现在可以中途去查一件事，再回来接着说。
为什么先放客服
客服是语音模型最不讨巧、也最容易验证的场景。
一通电话里，用户可能先问订单、中途改成退款、最后又问发票；说一半想起来要补充单号；背景里还有孩子在哭。模型要在这堆东西里听出他到底要干什么。
这个过程没法靠发布会演示。它只能靠一通一通的真电话跑出来。
据混元方面介绍，模型在长对话里的多轮指令遵循和上下文管理也做了加强，能在一段较长的连续对话里保持对意图的跟踪。这话听着平淡，落到客服场景就是：不能聊到第八句忘了第一句要办的事。
一个数字能说明难度
据混元披露，在精调阶段，他们把高质量文本数据向语音任务迁移的保留率，从 21% 提升到 69%。
这笔账很好算：过去把文本模型的智力搬到语音上，一百份里只剩二十一份；现在是六十九份。
语音模型说话像人但变笨的老问题，卡的就是这个折损率。
预训练那头堆了多少数据
预训练数据达到千万小时级，任务形态从单一的语音识别扩展到音频理解、音乐理解、语音翻译；配套 51 套纯文本评测集、50 多套语音评测集。
这套配置说明一件事：语音模型现在的竞争，不在模型结构，在数据工程。
下一步它想干什么
官方列的三件事：双工交互、长期个性化记忆、前后台智能体协同。
双工是能被打断，记忆是记得你上次说过什么，前后台协同是前台聊着、后台已经把事办了。
三件都不新鲜，难的是同时做到。腾讯云接口什么时候开放，是下一个观察点。
免责声明：本文依据腾讯混元官方发布内容与 IT之家等公开报道写成，评测结论为企业内部口径，第三方复现数据尚未公开。