Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译模型
Fluid, natural voice translation with Gemini 3.5 Live Translate
Google DeepMind 发布 Gemini 3.5 Live Translate,一款支持 70+ 语言的近实时语音到语音翻译音频模型,能自动检测语言并保留说话人的语调、节奏和音高。
2026年6月9日
|
Gemini 3.5 Live Translate 是我们最新的音频模型,可提供 70 多种语言的近实时语音到语音翻译。
Anuda Weerasinghe
产品经理
Tony Lu
高级主任软件工程师
收听文章
[[duration]] 分钟
此内容由 Google AI 生成。生成式 AI 仍处于实验阶段
二十年前,Google 的翻译始于我们开创性的机器学习实验之一,旨在将语言科学转化为人类连接的魔力。这个实验已经走过了漫长的道路,每月为数十亿用户在我们的产品中翻译超过一万亿个单词。
今天,我们迈出了下一步,发布了 Gemini 3.5 Live Translate,这是我们最新的用于实时语音到语音翻译的音频模型。
该模型可自动检测 70 多种语言,并生成流畅、自然的翻译语音,保留说话者的语调、节奏和音高。与等待说话者说完再回应的轮流式系统不同,3.5 Live Translate 会持续生成语音,在等待上下文以提高质量与立即翻译以与说话者保持同步之间取得平衡。它提供流畅的音频,没有尴尬的停顿,并在整个会话过程中仅落后说话者几秒钟。
Gemini 3.5 Live Translate 从今天起在 Google 产品中陆续推出:
- 面向开发者,通过 Gemini Live API 和 Google AI Studio 提供公开预览版
- 面向企业,本月起在 Google Meet 中提供私密预览版
- 面向所有人,通过 Android 和 iOS 上的 Google 翻译提供
使用 3.5 Live Translate 构建
Gemini 3.5 Live Translate 在语音流式传输时进行处理,实现跨语言更无缝的连接。该模型可处理多语言输入,无需手动配置设置。同时,其噪声鲁棒性确保应用程序能够应对嘈杂、不可预测的环境。你可以利用其能力来帮助促进多语言通话、会议、课程、广播等的实时口译。
观看 Gemini Live API 的实际应用,实现配音和同步多语言翻译。深入了解 演示或 Gemini Cookbook 中的更多示例代码。
通过利用 Gemini Live API,Agora、Fishjam、LiveKit、Pipecat 和 Vision Agents 等开发者平台使开发者能够轻松构建和部署语音翻译应用。这些集成处理了复杂的实时媒体流基础设施,因此开发者可以专注于用户体验。
我们在 Grab 的合作伙伴正在测试该模型,以实现司机和乘客在接载时近实时的多语言沟通。这些用户每月通过 Grab 拨打超过 1000 万次语音通话。
阅读早期评价
除了 Grab,CJ ENM、LiveKit 等公司也对 3.5 Live Translate 给予了积极反馈,强调其令人印象深刻的翻译质量、准确性和低延迟:
在视频会议中体验 3.5 Live Translate
Google Meet 中的语音翻译将很快使用 3.5 Live Translate,通过以下方式改善体验:
- 提供 70 多种语言,相比之前仅五种语言的限制有所提升,
- 在一场会议中支持超过 2000 种语言组合的对话,从此前仅支持与英语互译的状态扩展而来,
- 更新界面,让用户可即时使用语音翻译。
我们本月起面向部分 Google Workspace 商业客户推出此更新的私密预览版,随后将在今年晚些时候更广泛地推出。
在 Android 或 iOS 上的 Google 翻译应用中体验 3.5 Live Translate
该模型也正在全球范围内于 Google 翻译应用中推出,覆盖 Android 和 iOS。使用 Live translate 功能时,只需连接任意一副耳机,即可体验更无缝的翻译,在 70 多种语言中还原说话者的语气。
对于 Android 用户,我们还将开始推出搭载 3.5 Live Translate 的全新“聆听模式”,让你直接通过手机听筒听到翻译。只需像平常打电话一样将手机贴在耳边,翻译后的音频就会直接传给你。当你希望快速听到翻译而不让其他人听到,并且手边没有耳机时,这种新体验会很有帮助。
使用新的聆听模式,用户可以直接通过手机听筒听到西班牙语导览的近乎实时的英语翻译。
带有 SynthID 水印
我们的模型生成的所有音频都带有 SynthID 水印。这种不可感知的水印直接编织进音频输出中,确保 AI 生成的内容可被检测,以帮助防止错误信息传播。有关我们安全与责任方法的详细信息,请查看模型卡。
在您的收件箱中获取 Google 的最新消息
订阅我们的新闻通讯,获取产品更新、活动信息、特别优惠等更多内容。
您的信息将根据Google 隐私政策使用。您可以随时选择退出。
来源:Google DeepMind · deepmind.google