混元 Hy Realtime 发布：语音模型会调工具、还会唱歌

要点

• 2026-11-13，腾讯混元发布实时语音模型 Hy Realtime，重点不在音质，而在两件新能力：Agentic 工具调用与唱歌。
• 工具调用是「一体化」的：模型自己判断这一轮要不要联网搜索，把搜索决策、调用工具、生成回答放在同一条链路里——不是「转写成文本再交给另一个 agent」。
• 唱歌是与腾讯音乐 TME 灵音 AI 团队 Co-Design 的，支持按歌手 / 专辑 / 曲风 / 语种 / 发行年份 / 热度组合点歌，并能承接前文继续选。
• ⭐ 最有价值的一手数字：SFT 阶段把高质量文本数据向语音任务的有效迁移保留率从 21% 提升到 69%。这个数直接对应端到端语音模型长期存在的「跨模态智商折损」——说着说着变笨了。
• 训练四阶段：CT 预训练（音频数据达千万小时级，配 51 套纯文本集 + 50+ 套语音评测集）→ SFT → MOPD（多教师、跨模态的 OPD）→ Mix-RL。
• RL 走双轨奖励 + 底线门控：通用偏好奖励模型给平滑全局信号，规则清单给确定性逐项约束，两者互校；另有一票否决的底线门控（安全 / 格式 / 风格 / 逻辑）。
• 已上线元宝语音通话（「初语」音色）与腾讯客服；腾讯云 API「近期」开放，截至 11-13 开发者尚不可用。
• 官方对比评测（自建基础智商集、Big Bench Audio、Voice Bench、Open Audio Bench、Wild Speech Bench）以图表形式发布，本站未逐图读数，不转录具体分值。

背景与分析

端到端语音模型有个老问题，行业里叫「跨模态智商折损」：文本模型能推理，但一旦要「像人一样说话」，为了口语化的自然度，就得牺牲逻辑链条——说起来流畅，想事情变浅。

Hy Realtime 这次公开的技术路径，本质是在解这个问题，而且把关键数字放到了正文里：SFT 阶段把文本数据向语音任务的有效迁移保留率从 21% 提到 69%。

这个 21% → 69% 意味着什么？意味着过去把一份高质量文本训练样本改写成口语样本时，只有约五分之一的有效信息活了下来；现在接近七成。它是「保留率」不是「准确率」，但对开发者的含义很直接：同一个知识 / 推理任务，走语音通道时的能力损失显著变小了。

配套的是 MOPD 这一步（多教师、跨模态的 OPD）。做法是：混元自己的文本模型当「通用能力教师」，负责知识、推理、指令遵循与多轮；混元语音 Agent 教师则把范围从单轮问答扩到真实交互，覆盖多轮对话、实时联网与工具调用。两个教师按受控配比指导同一个学生模型。这一步是为了让「能力增强」「表达自然」「任务可执行」三件事不再互相妥协。

低延迟那条线也值得记：语音生成不是「等文本全部生成完再合成」，而是文本与语音协同序列建模，边生成文本边合成语音。声学上还做了三阶段训练（文本预训练 → 大规模语音数据预训练注入 TN 相关数据 → 精品发音人微调），第三阶段专门解决「说得好、有情感」。这是一条真实的工程取舍：先通用后专用，把「能说」和「说得好」拆成两个训练阶段。

关于「唱歌」，不必过度解读成产品彩蛋。它其实是一个很硬的语音能力测试：唱歌要求音高、节奏、咬字、气息四项同时对，而且跨语言、跨曲风——这些恰好是「只学会了说话」的模型做不到的。用唱歌来证明声学生成上限，是个聪明的评测选择。

需要打折扣的地方有两点。第一，腾讯云 API 还没开，官方口径是「近期」，没有日期也没有价格——对开发者来说现在只能看 Demo。第二，所有对比评测都是内部自建集或自报口径，官方明确写了「内部专家 A/B Test」「内部自建基础智商测试集」，这类数字能说明方向，不能当跨厂商排名用。

对开发者的影响

• 语音 Agent 的架构该重新想了。过去主流是「ASR → 文本 agent → TTS」三段拼接，好处是可替换、可观测，坏处是延迟叠加 + 副语言信息（语气、情绪、停顿）在 ASR 那一步就丢了。Hy Realtime 这种「端到端 + 工具调用内建」的形态，把「要不要检索」的判断也放进了模型，链路短了一截。代价是可观测性变差：你要接 OTel，得接在它的工具调用事件上，不能像过去那样在 ASR 文本层打点。
• 「保留率」这个指标应该进你的验收清单。以后评估任何语音模型，别只看 WER 和音质 MOS——问一句「文本能力迁移保留率是多少」，或者自己造一版：同一个逻辑题，文本通道与语音通道各跑一遍，比对答案正确率。这比看厂商排行榜有用。
• max_tokens 与并发成本会变：端到端模型每轮输出的是「语音 token + 文本 token」，计费口径与传统 TTS 按字符计费不可直接比。等腾讯云开放 API 后，先要一份计费说明再压测。
• 做客服 / 陪练 / 口语纠错类产品的团队，这是直接可用的能力升级——尤其是「中途改口」「说半截」这类真实口语输入，官方说模型会结合上下文做意图还原。建议上线前专门造一组「含糊输入」用例测它的还原率。
• 国内合规路径清晰：腾讯云 API + 元宝生态，语音数据不出境，比接海外实时语音 API 好走流程。

AI 之家 观点

这条新闻容易被读成「腾讯也发了个语音模型」，但它真正的信息量在**「语音模型开始具备行动能力」**。

过去一年语音助手的进化主要在「听得准、说得自然」，本质还是信息通道。加了工具调用之后，语音变成了执行入口——你说一句，它决定去搜、去查、去操作，然后回话。这条路一旦走通，语音就从「更方便的输入法」变成「更自然的 agent 界面」。

AI 之家 推荐结论：如果你在做语音类产品，现在该做的是把「语音层」和「决策层」解耦设计，而不是赌某一家端到端方案。理由很简单：端到端方案的体验上限高，但锁定成本也高——一旦模型和你的业务逻辑长在一起，换供应商等于重做。折中做法是：语音层用端到端换取低延迟与副语言信息，决策层与工具调用保留一层自己的编排，两条链路各留一个可替换点。

也要说清边界：官方这次没给延迟数字、没给并发、没给价格，只给了能力描述与训练细节。这三项恰恰是落地时最关键的。等腾讯云 API 开放后，这三个数才是决定它能不能进生产的东西。

相关阅读

• 同类：Qwen3.8 LiveTranslate · Gemini 3.8 Live · 豆包
• 概念：原生多模态 · Function Calling · 推理模型 · Agent 控制面
• 同期语音：讯飞 SparkAudio 1.0 上线 API

来源

• { title: "腾讯混元官方公众号《实时语音模型 Hy Realtime 发布：能说会唱、还能调用工具》（一手，含四阶段训练与 21%→69% 迁移保留率，逐段读取）", url: "https://mp.weixin.qq.com/s?__biz=MzkwODU2OTQyNQ==&mid=2247498965&idx=1&sn=fc0a8fa819b333cf16814ae46d6ccd4f" }
• { title: "每日经济新闻：腾讯混元发布全新实时语音模型 Hy Realtime（2026-11-13，用于交叉核对上线渠道与腾讯云口径）", url: "https://www.nbd.com.cn/articles/2026-11-13/4647109.html" }
• { title: "凤凰网科技 / IT之家：混元 Hy Realtime 发布（用于交叉核对「初语」音色与网页 Demo 信息）", url: "https://tech.ifeng.com/c/8y1QBPLjByO" }