NVIDIA 发布 Magpie TTS 多语言语音模型，新增阿拉伯语、韩语和巴西葡萄牙语

每一次语音交互都有延迟预算。

当用户听到你的应用作出回应时，你已经花费了宝贵的毫秒来采集音频、转写语音、运行 LLM、检索上下文并生成回复。文本转语音（TTS）是最后一步——也是用户最容易察觉的一步。如果语音生成很慢，整个体验就会显得很慢。

这条流水线中你能自己运行和调优的部分越多，你就能拿回越多的延迟预算。

语音 AI 发展迅速。集成式语音模型提供了简单性——一次 API 调用，音频进、音频出——但它们牺牲了针对你的领域微调每个组件、在更好的模型发布时替换、满足数据驻留要求，以及准确了解延迟来自何处的灵活性。为了获得更多控制权，级联架构——专门构建的 ASR、TTS 和 LLM 组件协同运行——让每一层都能独立调优，并部署在你自己的基础设施上。

NVIDIA Magpie Multilingual TTS 正是为此而构建。凭借开放权重、生产就绪的 NVIDIA NIM 以及对 12 种语言的支持，你可以在自己的基础设施内部署多语言语音，针对你的工作负载优化延迟，并为你的领域定制模型——端到端，在你自己的环境中。

最新版本通过现代标准阿拉伯语、韩语和巴西葡萄牙语扩展了多语言覆盖范围，同时通过更新的训练数据和模型改进提升了多种现有语言的质量。

无论你是在构建客户支持代理、医疗助手、企业副驾驶、翻译系统还是对话式 AI 应用，Magpie 都为生产级语音 AI 提供了开放基础。

语音 AI 正默认走向多语言

如今的语音应用不再只服务单一语言。

全球客户支持、企业助手、医疗文档、零售自动化和翻译工作流越来越需要跨多种语言的自然对话——同时还要保持低延迟。

支持更多语言只是挑战的一部分。开发者还需要能够：

• 在数据所在之处部署
• 满足企业隐私要求
• 自定义发音和声音
• 预测生产工作负载下的延迟
• 在自己的基础设施上扩展

开放模型改变了上述每一项的可能性。

一个开放模型，十二种语言

Magpie TTS Multilingual 是一个 364M 参数的开源权重模型，支持：

英语 · 西班牙语 · 法语 · 德语 · 意大利语 · 越南语 · 普通话 · 印地语 · 日语 · 现代标准阿拉伯语（新增） · 韩语（新增） · 巴西葡萄牙语（新增）

每种语言都通过共享的多语言说话人表示包含男性和女性说话人声音。

此版本还通过扩展印地语和日语的语码转换支持，提升了多语言灵活性，这得益于 IPA 字素到音素处理和自定义发音词典——让准确发音姓名、技术术语和混合语言内容变得更加容易。

开发者无需为不同地区维护单独的 TTS 模型，而是可以在一个开放基础上构建多语言应用。

用户真正会察觉到的延迟

在对话式 AI 中，文本转语音是用户听到回复前的最后一个环节。这使得首音频时间（TTFA）——从语音生成开始到第一段音频到达用户之间的延迟——成为语音流水线中最重要的延迟指标之一。

由于 Magpie TTS 可以部署在你自己的环境中，你测量到的延迟就是你在服务端实际可控的延迟，其中不包含托管服务的往返时间。

来源：NVIDIA TTS NIM 性能文档（v26.07），三次试验的平均值，本地部署。
TTFA = 首音频延迟；RTFX = 吞吐量相对于实时的倍数。

在 B200 上，Magpie 的 TTFA 仅为 32ms，为 ASR 和 LLM 处理留出了剩余的延迟预算——使端到端总延迟保持在自然对话所需的 200ms 以内。在 NVIDIA 各款 GPU 上，Magpie 在单流下可在 32–79ms 内输出首段音频。在 64 路并发流下，B200 的 TTFA 达到 239ms，同时吞吐量达到实时的 320 倍——即使在并发负载下，生成音频的速度也比播放速度快 300 倍以上。

上表展示的是以 NVIDIA NIM 形式提供的 Magpie，在本地部署环境中测量——即在你自己的 GPU 上运行的优化容器。开放的 Hugging Face checkpoint 是同一个模型，是你用于研究和微调的途径；NIM 则是经过调优的服务栈，能够产生这些生产级延迟。两者都运行在你掌控的硬件上。

由于模型运行在你自己的基础设施上，你可以直接对性能进行基准测试、针对你的部署进行调优，并根据你的工作负载进行扩展。对于实时语音智能体而言，这就是对话感觉响应迅速与感觉延迟之间的差别。

为实时语音生成而优化

低延迟并非偶然。Magpie 引入了两项互补的架构改进，在保持语音质量的同时缩短推理时间。

帧堆叠。解码器在每个解码步骤中预测两帧音频，而不是一帧。这将解码器迭代次数减半，缩短了生成时间并提高了吞吐量。

局部 transformer。仅靠帧堆叠会因同时生成的码本 token 之间引入依赖关系而降低音频质量。局部 transformer 对这些依赖关系进行建模并优化生成的音频，从而恢复帧堆叠原本会牺牲的质量。

这些技术结合在一起，既实现了更快的生成，也实现了自然的语音合成。该架构在 Frame-Stacked Local Transformers for Efficient Multi-Codebook Speech Generation（ICASSP 2026）中有所描述。

听起来不自然，再快也没用

本次发布不仅增加了语言——还改进了许多现有语言的合成质量。与上一版本相比，Magpie 在多种语言上显示出更低的字符错误率（CER）和更高的说话人相似度（SSIM），其中法语和西班牙语的提升最为明显：

来源：Magpie TTS Multilingual 模型卡。CER 越低越好；SSIM 越高越好。

新增的阿拉伯语（1.62% CER）、韩语（2.69%）和巴西葡萄牙语（2.91%）模型为未来的改进建立了基线质量。

虽然客观指标有助于衡量进展，但语音质量最终是感知层面的。你可以在 NVIDIA Build 或 Hugging Face demo 上亲自听出差异。

为什么开放权重很重要

你能测量的延迟是有用的。你能控制的延迟则更好。

开放权重赋予开发者源自拥有部署的能力。使用 Magpie，你可以：

• 部署在你控制的基础设施上 — 完全在你自己的基础设施内运行，包括私有或气隙环境。
• 掌控你的延迟预算 — 没有托管服务的往返，你可以直接针对你的硬件和工作负载进行优化。
• 自定义发音和声音 — 使用 NeMo 针对你自己的品牌、领域词汇或说话人数据进行微调。
• 按你自己的方式扩展 — 针对你的基础设施和工作负载优化服务栈。
• 保持企业控制 — 将敏感对话和客户数据保留在你的环境内。

对于构建生产级语音 AI 的企业来说，这种对部署、性能和自定义的控制往往是最重要的。

构建完整的语音代理——而不仅仅是更好的语音

生产环境中的语音 AI 是一个模型系统，而不是单个模型。Magpie TTS 是 NVIDIA Nemotron Voice Agent Developer Example 的一部分，这是一个参考实现，展示了专用语音、语言和推理模型如何作为一个协调系统协同工作——这样你就可以构建始终在线的语音代理，而不仅仅是听起来更好的语音。

开发者可以组合：

• Nemotron Speech 用于流式语音识别
• Magpie TTS 用于自然的多语言语音合成
• Nemotron 语言和多模态模型用于推理、工具调用和多模态理解
• NVIDIA NIM 用于 GPU 优化、生产就绪的推理微服务
• NeMo 用于自定义和微调

Nemotron Voice Agent 开发者示例提供了一个端到端的参考实现，开发者可以在数小时内克隆、自定义和部署。它包括以下生产模式：

• 实时可中断（打断）对话
• 具有视觉理解能力的多模态语音代理
• 多代理编排和工具调用
• 多语言语音交互
• 使用 NVIDIA NIM 实现亚秒级端到端延迟

开发者无需从头组装各个组件，而是可以从完整的参考架构开始，并将其适配到自己的应用程序中。

开始使用

试用模型

• NVIDIA Build
• Hugging Face demo

部署到生产环境

• NVIDIA Magpie Multilingual TTS NIM — 优化的推理容器

为你的领域自定义

• NVIDIA NeMo Speech — 微调和训练

构建完整的语音代理

• NVIDIA voice-agent-examples

开放权重和许可证

• Hugging Face 上的模型卡 — 在 NVIDIA Open Model License 下的开放权重。

推荐的推理配置：

cfg_scale = 2.5          # classifier-free guidance — raise for tighter text adherence
temperature = 0.6
top_k = 80
apply_attention_prior = True
prior_epsilon = 0.1