Google DeepMind 发布 SL2T 手语转文字模型，率先落地 Pixel 11 的 Gboard 与 Live Transcribe

2026年8月12日模型

Google DeepMind 手语团队

隆重推出手语转文本（SL2T），这是我们突破性的模型，为失聪及听障用户带来全新的手语功能。

近几十年来，AI 处理口语的能力飞速发展，实现了自动翻译、听写和对话界面，让听人用户感到轻松自如。然而，这场技术革命尚未惠及全球 200 多种手语——以及估计 7000 万使用这些手语的失聪及听障人士。

今天，我们推出一款大规模多语言手语转文本（SL2T）翻译模型，在质量和通用性上实现了突破。借助它，我们首次将手语 AI 从实验室带入消费产品：SL2T 为 Pixel 11 上 Gboard 和 Live Transcribe 的手语转文本听写功能提供支持，首先支持美国手语（ASL）转英语。更多设备即将推出，更多语言也将陆续支持。

正如听人用户可以用听写代替打字一样，这项功能让失聪用户可以在通常需要打字的任何场景中用手语与手机交流。你可以用手语搜索网页、起草消息或文档，并让 Gemini 解答问题或执行任务。在 Live Transcribe 中，你可以在对话中用手语回应，而不必来回打字。据我们的测试者反馈，用美国手语比用英语打字更快、更自然、更令人愉悦。

由 SL2T 驱动的手语转文本功能，让用户可以在通常需要打字的任何场景中用手语与手机交流。

手语为何重要

手语是世界各地失聪群体的主要语言，也是失聪文化认同的基石。失聪人士在手语、口语、阅读和写作方面的熟练程度差异很大，因此支持各种模态的沟通渠道非常重要。失聪人士可以从手语处理中获益，就像听人从口语处理中获益一样，而且这项技术还为弥合失聪群体与听人群体之间的沟通鸿沟开辟了新的可能。尽管具有这样的积极社会影响潜力，手语 AI 的进展却一直缓慢——既因为构建手语 AI 面临复杂挑战，也因为人们对这些语言本身的运作方式存在普遍误解。

与口语转写相比，手语翻译面临两大核心挑战。首先，转写语音是在同一语言内完成从声音到文本的顺序映射，而手语是独立的自然语言，拥有各自独特的语法和词汇。因此，它们需要真正的机器翻译，而非手语到词语的顺序转换过程。其次，模型必须学会“看见”并理解身体动作。手语通过手、手臂、躯干、头部和面部的同步动作来传达意义。以高帧率准确追踪这些动作是一项困难且计算量巨大的计算机视觉任务。

有了这样的背景，就不难理解为什么一些早期的手语技术尝试，比如手语手套，存在根本性的局限：手语并不只是“用手说的英语”。它们需要对精细的全身动作进行复杂的视觉感知，以及完整的语言翻译。SL2T 的设计目标就是同时实现这两点。

SL2T 将手语输入视为打手语者身体上的点，并将其翻译为流式文本输出。示例来自 FLEURS-ASL 基准测试。

SL2T 的工作原理

我们构建 SL2T 时，将用户中心、文化知情的方法与大规模数据扩展相结合。该模型在超过 50 种手语、逾 100,000 小时的数据上进行训练——其中约四分之一的数据是 ASL。在多种语言、方言和熟练程度上进行联合训练，使模型能够学习共享的底层结构，在我们的实验中表现优于单语言模型。

为了保护用户隐私，SL2T 将手语视为一系列姿态关键点位置，而不是原始摄像头画面。一个设备端模型（MediaPipe Holistic）追踪打手语者身体上各点的位置，只有这些几何坐标会被发送到服务器进行翻译，从而可以立即丢弃原始视频。

SL2T 将这些坐标序列直接翻译为文本，绕过了此前手语翻译研究中广泛使用的被称为“注释”（glosses）的中间标注。注释无法捕捉手语中丰富的非线性方面，例如非手动标记和空间构式。直接从关键点翻译消除了人为的词汇限制，并使翻译质量能够随数据直接扩展。

根据 FLEURS-ASL（sd-test）等关键基准测试——该测试评估 ASL 到英语的翻译质量——SL2T 是迄今为止能力最强的手语翻译模型。SL2T 取得了令人瞩目的 70 BLEURT 零样本得分，显著高于此前报告的任何得分。但仅优化学术基准并不能保证在现实应用中的可用性，因此我们在一些实际问题上付出了大量努力，例如最小化流式延迟、防止在非手语输入上产生幻觉、确保对 10% 惯用左手的打手语者的公平性，以及提升单手打手语（另一只手拿着智能手机时使用）的性能。

原始英语	SL2T 的 ASL → 英语输出
库克群岛没有任何城市，而是由 15 个不同的岛屿组成。主要岛屿是拉罗汤加岛和艾图塔基岛。	库克群岛没有城市，由 15 个岛屿组成。两个主要岛屿是拉罗汤加岛和艾图塔基岛。
比赛于上午 10:00 开始，天气很好，除了上午中段的一阵小雨很快放晴外，这是进行七人制橄榄球的完美一天。	比赛上午 10 点开始，天气很好。早上有小雨，随后放晴。这是进行 7v7 橄榄球的完美一天。
在一些联邦制国家，例如美国和加拿大，所得税在联邦和地方两级征收，因此税率和税级可能因地区而异。	在一些联邦制国家，如美国和加拿大，所得税在联邦和地方两级征收。这意味着税率和税级会因你所在地区而异。
这种全身覆羽、温血的猛禽被认为用两条腿直立行走，爪子像伶盗龙。	这种生物是温血动物，吃灰色的东西，全身覆盖着羽毛。据信它像伶盗龙一样用两条腿行走。
也许有一天，你的曾孙会站在一个外星世界上，好奇他们的远古祖先。	也许有一天，你的曾孙会站在一个外星世界上，追思他们的祖先。

FLEURS-ASL 基准测试中的示例。SL2T 能将复杂的美式手语准确翻译成流利的英语。在罕见手语、快速手指拼写（"prey" → "grey"）、被动结构、分类词描绘（漏掉 "claws"）以及缺乏上下文的时态（"kicked off" → "start"）方面，仍偶有错误。

与社区共同构建

我们相信要与聋人社区共同构建，而不仅仅是为他们构建。聋人的视角塑造了这个项目的每一个阶段——从聋人 Google 员工 Sam Sepah 的概念构思，到与聋人合作伙伴的数据收集、聋人用户研究中的评估，以及与聋人专家对该技术的影响评估。

为了指导负责任的现实世界部署，我们成立了 AI 手语咨询委员会（AISLAC），汇聚了众多全球聋人组织和领域专家。通过这种参与式治理模式，受我们技术影响最深的社区可以直接影响我们的开发优先级。我们共同撰写了一份联合影响报告，用于 SL2T 1.0 在 Gboard 和 Live Transcribe 中的发布，透明地详述了该技术的能力和当前局限——我们计划在所有重大手语发布中继续采用这种协作方式。

展望未来

SL2T 建立在学术界和工业界数十年的基础研究之上，但将美式手语输入带到用户手机上仅仅是开始。Google 的使命是整合全球信息，使人人皆可访问并从中受益。实现无障碍普及意味着要与口语和书面语言完全对等。我们的团队正致力于将该技术扩展到更多手语、手语生成以及前沿 AI 能力。我们期待以负责任的方式分享我们的进展，让通过手语获取信息成为整个数字领域的标准。

你可以在 Pixel 11 上率先通过 Gboard 和 Live Transcribe 体验 SL2T，更多设备即将支持——全部无需额外费用。

致谢

这项工作由 Google DeepMind 和 Android 的团队共同完成。开发 SL2T 模型的核心团队是：Garrett Tanzer、Benoit Brard、Elizabeth Clark、Tim Dozat、Sebastian Ebert、Dan Garrette、Manfred Georg、Vicky Holgate、Shankar Kumar、Mohammad Saboorian、Miloš Stanojević、Megh Umekar、John Wieting、Andy Zhang 和 Chris Dyer。

将该模型集成到 Gboard 和 Live Transcribe 的 Android 团队是：Ausmus Chang、Sai Aditya Chitturu、Dayle Chiu、Anna Chou、Ajay Dudani、Angana Ghosh、Alex Huang、Joanne Kim、Ed Lee、Thomas Lin、James Su、Yanchao Su 和 Sharlene Yuan。

我们感谢 Anelia Angelova、Abhishek Bapna、Sara Basson、Glenn Cameron、Scott Crowell、Trevor Cohn、Noah Fiedel、Zoubin Ghahramani、Raia Hadsell、Tom Hudson、Alexander Hauerslev Jensen、Kazuya Kawakami、Phoebe Kirk、Peike Li、Liam McCafferty、Caroline Pantofaru、Abhinav Parashar、Christopher Patnoe、Laura Rimell、Sagar Savla、Sam Sepah、Thad Starner、Dave Uthus 和 Biao Zhang 提供的额外支持。

我们还要感谢 MediaPipe Holistic（Google AI Edge）团队：Ivan Grishchenko、Artsiom Ablavatski、Valentin Bazarevsky、Esha Uboweja、George Sung、Jonathan Baccash、Gregory Karpiak、Sebastian Schmidt、Suril Shah、Raman Sarokin 和 Juhyun Lee。

也非常感谢参与我们模型早期测试的人员。