Voxtral 3语音代理SDK发布

思考

摘要

Voxtral 3 引入了一款尖端语音代理 SDK 和最先进的语音模型，专为跨 50 多种语言进行实时、多步骤对话而设计。它结合了精确的语音转录、自然的语音合成与情感适应性，以及深度工具集成，以实现无缝的工作流程自动化。可通过 Mistral 欧盟托管 API 或自行部署使用，确保数据主权，同时提供低延迟、类人的交互，适用于呼叫中心、虚拟助手和免提副驾驶。

语音转录和语音生成已经取得了长足的进步，但构建能够倾听、推理、交互和处理复杂工作流程的端到端语音代理仍然很困难。

一个可靠的语音代理需要同时在四个方面做得很好（并且同时）：

1. 准确倾听 跨语言、口音、说话者和干扰，

2. 深入推理 用户在特定上下文中的含义，

3. 自然说话 带有情感和表达，以及 

4. 通过连接的系统执行多步骤操作。 

让这四个方面在实时中可靠地协同工作仍然是一个挑战。

为此，我们推出了 Voxtral 3：一系列最先进的 语音转文本 和 文本转语音 模型，以及一个将倾听、推理、工具调用和说话集成到单一实时流管道中的语音代理 SDK。

Voxtral 3 旨在创建自然的对话体验，从呼叫中心代理和服务台到虚拟助手和免提副驾驶。通过支持数十种语言、富有表现力的语音、复杂的推理以及与您自己的工具和数据的深度集成，使用 Voxtral 构建的代理可以解释细微的意图，推理复杂的请求，并在连接的系统上执行多步骤操作。

与其他 Mistral 模型一样，Voxtral 3 系列专为主权部署而设计。今天可通过 Mistral 的欧盟托管 API 或在您自己的基础设施上进行自行部署，它使组织能够控制音频处理的位置、数据的处理方式以及对话是否被保留。

亮点

1. 跨 50 多种语言的精确转录。语音转文本模型 Voxtral Small Transcribe 3 在多语言转录方面处于最先进水平，识别谁说了什么（说话人分割），使用关键词来提高其准确性（上下文偏差）。它检测到有人说话结束时，以便代理能够无延迟地响应（话轮检测）。

2. 适应对话的自然语音。文本转语音模型 Voxtral Mini TTS 3 引入了新的声音，根据对话上下文调整其情绪、节奏和强调，支持 35 多种语言和 50 多种方言。

3. 类人的智能（通过语音）。新的语音代理 SDK 将倾听、推理、工具调用和说话集成到实时体验中。代理可以在电话或网络上的实时对话中检索信息、与业务系统交互并完成任务。

4. 专业级语音，精准适应个性化。对于基础语音克隆无法满足的专业使用场景，Voxtral 的 Pro Voice 适配能够仅需 30 分钟的音频，跨语言再现说话者的独特个性、情感范围和说话风格。

5. 您的语音 AI，部署在您的基础设施上。使用 Mistral 的 EU 托管 API 或在您自己的基础设施上部署 Voxtral 3。将敏感对话保留在您自己的环境中，并控制是否保留任何音频。

立即试用 Voxtral | 了解更多

支持 50 种以上语言，具有最先进的准确性。

Voxtral Transcribe 3 在语音转录、说话人分割（谁在何时说话）和上下文偏置能力方面是一个重要的里程碑。支持的语言列表扩展到 50 种，包括 24 种欧盟官方语言以及许多低资源亚洲和印地语系语言。

小型版本在说话人分割和多语言转录方面取得了最先进的结果，包括英语、法语和西班牙语。它在 Whisper、Scribe v2 和 Gemini 3.5 Transcribe 上表现更优。小型版本迷你变体有 4B 参数，能够以每分钟 0.0035 美元的价格实现快速准确的转录。

这两个模型都支持上下文偏置，其中可以提供关键术语和自由文本来偏置转录并提高技术术语的召回率。这使得它们能够在具有特定领域词汇的生产环境中使用，而无需微调。

Voxtral Realtime Transcribe 3 是一个为自主使用场景构建的实时转录模型。它在35种以上语言中实现了低于500毫秒的延迟的高质量转录，包括支持说话人分割和上下文偏向功能。

支持自然结束预测，结合声学和语义信息来准确预测用户何时停止说话。这允许低延迟的语音代理应用，同时最大限度地减少用户过早被中断时的错误截断率。

它能用正确的情感回答，使用您或您客户品牌的自己的声音和地方方言。

Voxtral Mini TTS 3.0，支持批处理和实时模式，在35种以上语言和50种以上方言上实现了最先进的表达力和指令遵循能力。每1M字符13美元，Voxtral TTS的运行成本低于OpenAI TTS-1、Deepgram、ElevenLabs Flash和Gemini Flash等同类模型。

语音模型隐式地更好地解释了上下文的语义意义，在各种情感和语言范围内产生自然的语音。新功能和改进包括从30分钟采样音频中进行声音克隆、自定义提示指令遵循（IF）、上下文TTS和词汇库，所有这些都服务于部署中语音可靠性的目标。显式IF的变量包括 emotion、pacing 和 emphasis。

提示

让我们在这里结束辩论：它是GIF。

默认

非标准音素提示：dʒ ɪ f

所有自然语音都依赖于情感，它决定了其韵律、节奏、速度、重音和过渡。Voxtral TTS原生解释提示的文本上下文来确定情感和声音风格，使模型在无需额外指令或声音提示的情况下天生更适合自然语音。

说明 Voxtral 的表达性爬山，数字和唯一名称。

提示

感谢您致电 Mistral！我理解您在登录 AI Studio 时遇到困难。我可以确认您的电子邮件地址吗？我这里有 elena.vance82@yahoo.com，正确吗？

Voxtral 1

Voxtral 3

语音在 35 种语言和超过 50 种方言中听起来很本地化。

Voxtral TTS 支持 35 种语言 和地区方言。我们的多语言评估遵循发音中的方言差异、正式与非正式语域、拼写、冗长性和本地惯例（时间、日期、温度、地址、货币）。

Voxtral 3 多语言库

声音预设有 18 种语言：阿拉伯语（阿联酋，现代标准），巴西（葡萄牙语），加泰罗尼亚语，中文（普通话），荷兰语，英语（美国，英国），法语（法国），德语，希腊语，印地语，意大利语，韩语，挪威语，俄语，西班牙语（西班牙），越南语。

声音代理控制整个对话。

Voxtral 3 引入了一个基于 LiveKit 的声音代理 SDK，将语音输入、推理和语音输出作为一条流式管道运行。Voxtral Mini Transcribe Realtime 3 监听并检测呼叫者何时停止说话，通用模型——如 Mistral Small——进行推理并调用工具，Voxtral TTS 以迄今为止对话的语气回复。没有阶段等待前一个阶段，因此每个回合在不到一秒内完成，并且代理在呼叫者插入时停止说话。

在通话期间，代理可以验证呼叫者的身份，检查账单或预订预约，使用函数调用、网络搜索和检索您自己的系统。它通过 SIP 回答并拨打电话，在浏览器和 WebRTC 上的应用程序中运行，并连接到您已经使用的电话、IVR 和呼叫中心软件。

每个阶段都是单独的模型，因此您可以在不重写代理的情况下更改 LLM、声音或语言，并在欧洲的 Mistral API 或您自己的基础设施上运行整个堆栈。

开始使用。

Voxtral 3 现在可以通过 Mistral API 提供，通过我们的欧洲、美国和全球端点托管。

您可以在 Studio 沙盒中测试声音代理、音频转录、语音生成和声音克隆。

现在尝试 Voxtral | 了解更多

要在本地或私有云上运行整个堆栈，联系我们团队。