脑机接口帮助失语者重新说话：ALS 患者用植入电极解码语音近 200 万词

纸面上，我采访凯西·哈雷尔看起来和其他采访没什么两样。

我问问题，他回答问题。他告诉我他作为气候活动家的背景、他的南方根源和他女儿的故事，女儿是个学龄前儿童，喜欢打扮成猎豹在家里咆哮。“我女儿穿猎豹装特别可爱，”哈雷尔说。

访谈记录讲述了我们的对话。但字里行间，是另一个完全不同的故事——哈雷尔话语来源的故事。

哈雷尔在四十多岁时开始失去说话能力，这差不多是六年前的事了。他通过一个脑植入物和我交谈，这个植入物可以直接从他的思想中解码他的话语。这种设备被称为脑机接口，是实验性的。

但它改变了哈雷尔的生活。它也可能很快改变别人的生活。

计算能力和人工智能的进步、从患者经验中吸取的教训以及神经技术公司的投资，开始为那些无法说话的人的脑机接口带来真正的进展。

换句话说，哈雷尔的新声音在未来可能不会如此独特。

“现在这个领域有很多兴奋和希望，”密歇根大学安娜堡分校的一名神经外科医生兼生物医学工程师马修·威尔西说，他最近在一位女性的大脑中植入了一种新型语音接口。威尔西说，多年来，科学家们不知道解码语音的尝试是否会成功；现在，一系列研究成果明确指出是。“他们想，‘哇，这实际上是一种可以解决人们真正面临问题的技术。’”

哈雷尔患有肌萎缩侧索硬化症，即ALS。这种进行性神经退行性疾病影响美国约35,000人，会杀死控制肌肉的大脑和脊髓中的神经细胞。当哈雷尔大脑和身体之间的神经连接开始出现故障时，他逐渐失去了控制肌肉的能力，只能卧床或使用轮椅。其中一些中断的信号指向他的喉咙和口腔肌肉，这些肌肉使他能够说话。

“我大约在2020年确诊后开始失去说话能力，”哈雷尔说。之后，情况就像“一场慢动作的撞车”，越来越少的人能听懂他。“[我的声音]是我在这场疾病中失去的最重要东西，”他说。

幸运的是，哈雷尔通过一位家人得知加州大学戴维斯分校正在进行一项临床试验——一项试图通过脑机接口恢复语音的试验。2023年，哈雷尔大脑左侧植入了四个小型设备。这些电极网格位于哈雷尔的语言运动皮层上，这是一个沿着中央前回的大脑区域，控制说话所需的运动。

今天，哈雷尔每天使用他的系统大约10到14个小时，正如他自己所说，他是“人类已知最大的脑机接口用户”。硬数据显示他是正确的。最近的一次统计显示，哈雷尔已经使用他的系统进行了近200万字的交流，与他合作的科学家在6月份的《自然医学》杂志上报告了这一消息。

哈雷尔话语的存在本身就表明，对于患有肌萎缩侧索硬化症的人来说，恢复说话能力可能是可能的，对于因中风、瘫痪、脑瘫和帕金森病导致说话能力受损的人来说也是如此。“这种技术有可能彻底改变对话，”与哈雷尔合作的戴维·布兰德曼说，他是戴维斯加州大学的神经外科医生和神经科学家。

哈雷尔的接口仍有改进的空间。它体积庞大，相对较慢，并且在对非单词声音的解码能力上有限。

但这是“一个开始”，布朗大学的神经科学家、与哈雷尔合作的海莉·霍伯格说。“这还是早期。有很多研究要做，这将非常令人兴奋。”霍伯格说，最终目标是创造一个人们可以使用设备无缝、快速、清晰地交流的世界——并且使用他们原来的声音。

成功将意味着不仅仅是恢复人们的话语，布兰德曼说。它将意味着恢复他们以所有不可言喻的方式与人连接的能力，这些方式使我们成为人。“说话是我们身份如此基本的一部分，”他说。“想象一下，在一个你不能告诉别人你正在疼痛，或者你不能说你爱他们的世界里生活……不难想象这对你的生活质量是多么毁灭性的。”

内心的声音

在开发能够实现快速、自然说话的技术这条路上，科学家们首先必须回答一个更基本的问题：大脑的电流杂音能否被解码并转化为头外的行动？

神经细胞用电脉冲相互交流，这些信号可以用电极拾取。这种电流语言的存在提出了一个诱人的想法，即可以直接从大脑中解码电流信息，绕过通往身体其他部位的受损连接。

“这最早可以追溯到20世纪50年代，科学家第一次将电极植入大脑以记录神经活动的时候，”戴维斯加州大学的神经科学家和神经工程师谢尔盖·斯塔维斯基说。“你可以记录脑细胞或大脑部分的电活动。从那时起，现代神经科学开始尝试研究，大脑是如何计算的？它是如何让我们移动肌肉的？”

弄清楚如何解码简单的神经指令是第一步。动物研究铺平了道路，包括恒河猴仅使用植入电极检测到的脑信号来控制机械臂运动的实验。有意识地控制

《深水区》播客探讨了是什么让你的声音成为你的声音

如果你失去了你的声音怎么办？今天，人工智能可以重新创造它，脑植入物可以将思想转化为语言。这个季节的《深水区》跟随那些正在经历这些声音变化的人们——并询问这些非凡的技术能教给我们什么，让我们知道为什么我们的声音很重要。

到2004年，科学家们对这种方法的信心足够了，启动了一项名为BrainGate的人类临床试验。研究人员在一名瘫痪的病人Matthew Nagle的脑中植入了电极网格。这位前明星运动员能够仅凭思想控制电脑光标。“那可以说是现代脑机接口领域的发令枪，”Stavisky说。

从那时起，将脑活动与某些物理结果（例如移动电脑鼠标、轮椅或机械臂）联系起来的尝试蓬勃发展。其中一些努力集中在控制手和手臂运动的大脑信号和区域。其他人则专注于同一基本问题的非常棘手的一个版本：说话。

一个能够检测说一个单词的意图并绕过说话所需肌肉的脑机接口，对于患有ALS或脑损伤等疾病的人来说将是一种强大的解决方案。对于那些已经无法说话的人来说，这也是一件大事。“失去他们的声音比失去他们的行动能力更具毁灭性，”UC Davis的语言病理学家Jessica Pietrowski说，她与许多这样的病人合作过。“语言是他们维持人际关系中身份的方式。”

Harrell强调了这一点。“我的声音对我来说意味着什么？它意味着很多。”“它是能够照顾我女儿的能力。它是能够与我的妻子建立联系的能力。它是能够和朋友开个玩笑的能力。”

寻找猎豹

对大多数人来说，说话感觉很轻松，但仅仅说声你好就涉及一系列广泛的行为——并且涉及多达100块肌肉。“这是极其复杂和精细的，真的，是人类的一项了不起的成就，”Pietrowski说。

考虑一下“hello”中的“h”音。这种被称为喉擦音的声音涉及一系列微小的动作。首先，膈肌收缩将空气充满肺部。胸和腹肌将空气通过放松的声带和周围组织向上推。这股气流然后到达嘴里，在那里嘴唇、下巴和舌头执行复杂的动作序列来产生其余的声音。最后，形状完美的空气波从嘴里波动。然后，也只有然后，“你就有语言了，”Pietrowski说。

但这种近乎奇迹的转变的起点在大脑，在那里微小的电神经脉冲指挥身体说话。在Harrell的试验中，他会尝试说话，促使他的运动皮层向身体发送信号。植入的电极会检测这些模式并将它们发送到计算机进行解释。有了这个替代方案，Harrell的肌肉没有收到消息也没关系；计算机会。

Harrell从手术后恢复过来，研究人员开始在他在家的环境中测试这个系统。他们收集了他的神经数据，并将其传输到附近推车上的计算机上，那里的机器学习算法试图将Harrell的大脑活动模式与某些声音可预测地发生的模式进行匹配。这些被称为音素的音素是单词的构建模块。算法将音素组装成单词，同时它做出了关于Harrell试图说什么的最佳猜测。为了限制所需的计算能力，算法使用了一个只有50个单词的词汇表。

当系统连接好并准备运行时，科学家们要求Harrell尝试说一个由该库构建的特定随机句子：“那有什么用？”

哈雷尔开始工作了。当他看到屏幕上出现他脑海中闪过的文字时，眉毛都竖起来了。解码器起作用了。

大家都停了下来。一些研究人员开始哭泣。哈雷尔和他的家人也变得情绪激动。布兰德曼说，当开关被打开时，在房间里是“难以置信的”。“我成年后的生活大部分时间都在为这一刻努力，看到它实现是难以置信的经历。但更重要的是看到它立即对凯西和他的家人产生了什么影响。”

哈雷尔也记得那天他的感受：“纯粹的喜悦。”尽管他不是为第一次测试选择词语，但他说是“一个深刻的时刻”。“对我来说和整个人类在不久的将来可能性的实现是令人难以置信的，”他说。

测试的第二天更加深刻，但也是个人化的。这一次，系统的算法使用了超过12.5万个词汇的词汇量。这对解码器来说会更具挑战性，但它会给哈雷尔更多的自主权来表达他想说的话。

哈雷尔用了一个笑话开始了这次会话，霍伯格回忆说，大意是，“这个开关打开了吗？”但他的下一句话就是一个真正的谜团：“我在找一只猎豹。”

通过视频会议远程加入的霍伯格确信这是一个错误。“在用脑机接口的第二天，第二句话不可能说的是猎豹，”霍伯格说。“那显然是一个解码错误。”

但科学家看不到的是。哈雷尔的4岁女儿穿着猎豹的服装跑进了房间。

这个发现从科学上来说是重大的，但对他来说意义更大。脑技术不仅能恢复他的话语，还能恢复曾经构成他日常生活的那种自发的交流。

“能够从一开始就被理解，能够和女儿说话并回应她，这太神奇了，”哈雷尔说，“尤其是因为这在我的生活中完全缺失。”

霍伯格说，这样的时刻代表了脑机接口所持有的希望。“对我而言，看到它如此迅速、如此强大地工作，真的强调了这些技术将不仅能够恢复日常生活活动，”他说，“而且它们将能够恢复父母与孩子之间的交流。”

从思想到话语

凯西·哈雷尔的脑机接口从他的大脑中提取神经信号，并通过几个关键步骤将它们转化为
文字。植入哈雷尔言语运动皮层中的电极检测神经元的电信号（1），产生原始神经数据（2）。先进的机器学习工作（3）将数据块映射到音素，即单词的组成部分（4）。然后，这些音素由预测语言模型（或LM）（5）组装成句子，并显示在屏幕上供阅读或说话。

哈雷尔用他的界面发送电子邮件和 Slack 消息，并与妻子和孩子们一起玩 Wordle 游戏。他用它来工作；事实上，他刚刚开始一个新的气候咨询项目。哈雷尔的界面以几年前甚至不可能的方式让他与世界相连。

但该系统仍然是一个研究设备。像任何早期设计一样，它也有局限性。首先，它不便携；哈雷尔头顶有一个端口，引出线束，他只能在家里使用它。而且，以典型对话的标准来看，它的速度很慢。你无法从我们采访的书面记录中得知，但我们的对话总是带有内置的延迟。

例如，在我们聊天时，我们发现我们都曾在华盛顿特区的同一部分工作。我问他是否记得他以前的地址。答案是在两分钟后才到来。

“我做一个非常简单的类比，我把脑机接口比作试图赶火车，跑着赶在它离开前抓住最后一节车厢，”哈雷尔说。用当前的界面，“如果人们有耐心等待我的句子纠正，我就能[赶上火车]成为对话的一部分。”

哈雷尔的系统把他的神经活动转化为屏幕上的文字。如果他选择这样做，他还可以使用计算机合成语音说出这些文字。“它是脑到文本，然后它被翻译成语音，”哈雷尔说。他补充说，一种人的思想被直接翻译成口语的脑到语音系统，“是这个技术将变成的圣杯。”

超越文字

哈雷尔与他合作的科学家正接近这种实时交流。去年在《自然》杂志上，他们推出了一种新算法，试图将哈雷尔的脑电信号直接转化为声音。结果：他可以用仅10毫秒的延迟说出自己的想法。这非常接近实时对话。但哈雷尔发出的声音很难理解，只有超过一半的声音对听众来说是清晰的。

下一代设备旨在做得更好。密歇根大学的神经外科医生威尔西正在研发一种这样的设备，一种完全植入式的阵列。去年六月，他把一个名为“皮质模块”的东西植入了一位68岁女性的大脑中。这个皮质模块大约有硬币那么大。像哈雷尔一样，这位女性也无法用大多数人能理解的方式说话。

与 BrainGate 系统不同，这种新设备——由德克萨斯州奥斯汀的神经技术公司 Paradromics 制造——是便携的。外科医生把它植入了一段构成女性运动皮层的脑组织，沿着中央前回。皮质模块收集神经数据，并将其发送到植入胸部的另一个设备——发射器。从那里，信号射向她胸部的接收器，在那里数据被转化为声音——从附近计算机上的扬声器播放出的口语。

Paradromics 的优先任务是测试植入物的安全性。如果安全，科学家们就可以转向实时恢复语言的目标。“当你想到这些词的时候，你不必等待句子完成，”威尔西说，他与布兰德曼一样，是 Paradromics 临床试验的现场调查员。“你可以让这些词像在正常对话中一样自然地流出来。”

科学家们还希望解码的不仅仅是文字。声音的品质，如音调，对于标记问题很重要，帕拉迪罗姆神经科学家维卡什·吉尔贾说。说话者还可以改变或调整他们的对话节奏来表示讽刺或关心。吉尔贾说，这些声音都是通过移动肌肉产生的，因此可以从大脑中解码出来。

“我们目前的中期目标是仅仅恢复语音，”帕拉迪罗姆神经外科医生斯蒂芬·柳说。“但最终，我们希望实际上能够恢复某人完全参与对话的能力，基本上解码他们的时机、他们的情绪、他们的个性。”

其他研究人员正试图将我们许多人用来交流的手势结合起来。

“一些手势可以完全代替语言，比如点头表示同意，摇头表示不同意，挥手，耸肩，竖起大拇指，”加利福尼亚大学旧金山分校的生物工程师萨曼莎·布罗斯勒说。手势也可以改变词语的含义；例如，一个“也许”加上点头接近于同意。布罗斯勒说：“我认为手势和身体动作是一种可以与语言一起工作的额外交流渠道。”

在一项新研究中，布罗斯勒和同事们使两个失去说话能力的瘫痪人士能够使用他们的脑信号来控制数字化身中的文字和手势。这项进展于9月在《自然·神经科学》杂志上报道，增加了可以被解码并转化为行动的信号的种类。

而就在所有这一切发生的同时，科学家们正在创造更小、更稳定的电极类型，以植入大脑；更强大的计算算法来处理更大量的数据；以及更好的模型来描述这些信号如何与声音、词语和手势相关，吉尔贾说。“我们可以看到所有这些部分正在汇集在一起。”

布兰德曼说，有许多理由对未来感到乐观，他是由帕拉迪罗姆领导的临床试验的调查员。“我认为我大约还有五年的时间能够遇见一个患有肌萎缩侧索硬化症的患者，并发生以下对话，”他说。“‘史密斯女士，我很抱歉你被诊断出患有肌萎缩侧索硬化症。我没有治愈你的方法，但我有一个可以植入的设备可以帮助你交流。’”

那次对话令人着迷。但这些系统是否能按预期工作，或者它们是否会得到广泛应用，都没有保证。这种植入物可能会带来高昂的价格标签、侵入性的脑部手术，并且可能比少数能够满足需求的临床医生和技术人员有更高的需求。

而且，关于大脑本身也存在潜在的问题。一个担忧是，随着时间的推移，大脑的变化可能会使神经信号变得不可靠，尤其是在疾病进展的情况下。如果发生这种情况，一个人的界面可能会产生混乱的信息——或者留下的神经数据不足以解码。

“这些都是真正的挑战，该领域正在努力解决它们，”斯塔维斯基说。“但它们还没有得到解决。”

尽管存在这些障碍，对于那些失去声音的人来说，语音恢复技术的研发已经刻不容缓。九月份，研究人员报告说，植入 Paradromics 设备的女性有话要对他们说。“OK，”她通过脑机接口告诉研究人员。“我有许多话要说。”凭借她的系统，她能够打电话给孙子孙女。

而 Harrell 现在过着与六年前他可能想象中的截然不同的生活。尽管他的疾病使他居家，但他现在可以向世界——以及他的家人——分享他的想法，而不是将它们锁在内心。

{\(em}“当跑步时想要释放压力而喊叫的能力，当对伴侣轻声细语的能力，”Harrell 说。{\)em}“这些都是生活的全部意义所在，当你被剥夺这些时刻时，你会不惜一切代价想要它们回来。这就是为什么这已经足够好了。”{$em}

但他也有一个愿景，一个这些设备变得普及的日子，“当我成为众多人中的一员，而不是独一无二的那一个。”

要了解更多关于人类声音的内容，并听取 Casey Harrell 本人的讲述，请收听 The Deep End播客 第二季，名为《跟我说话》。无论你在哪里获取播客，它都是免费的。