她18年来一直没有说话一台电脑帮助她找到了自己的声音- 华尔街日报
Dominique Mosbergen
计算机在帮助无声者发声方面变得越来越好。
一个近20年没有说话的瘫痪女性通过虚拟化身再次找到了自己的声音，这要归功于脑植入物和思维阅读算法。
另一种脑植入物帮助另一名因罕见神经疾病而失去语言能力的女性以接近正常语速的速度进行文本交流。
他们的经历发表在周三《自然》杂志上的独立研究中，展示了允许人们使用脑信号控制设备的系统取得了重大进展。这些系统已经通过脑活动重建了一首平克·弗洛伊德的歌曲，并将语音的脑信号和手写的脑信号转换成文本。新研究中使用的脑-计算机接口更快速、更复杂，研究人员表示。
“我们展示了可能性，”加州大学旧金山分校威尔神经科学研究所的神经外科医生埃迪·张博士说，他是其中一项研究的合著者。
张和他的同事在一名瘫痪女性的大脑表面植入了一张薄如信用卡大小、上面点缀着253个电极的硅片。这名48岁的患者在大约18年前因脑干中风后就无法说话或使用四肢。
瘫痪患者的大脑即使在大脑和肌肉之间的通信渠道中断时，也可以发出控制运动的电信号。研究称，这名女性的植入物捕捉到了用于控制舌头、下巴、喉咙和面部的语音相关肌肉的信号。电极通过连接到她的头骨上的端口的电缆连接到计算机上。
研究人员训练了一个算法来识别她大脑的语音和面部表情信号。在两周内，她被要求在屏幕上看到单词和句子，然后默默地背诵。她还被告知想象做出悲伤、快乐和惊讶的面部表情。计算机记录了她执行这些任务时的大脑信号。
研究人员测试了算法是否能准确地将大脑信号翻译成文本和语音。患者被要求默默地背诵新的句子，而系统试图解码她的大脑信号。
“我们现在看到，有可能创造更自然、更具身体感的交流方式，”张说。
脑-计算机界面让这名女性能够使用一个说话的化身进行交流，张称之为首次。她选择了一个有着榛色眼睛和下巴长度的棕色头发的女性。研究人员使用她在婚礼上的演讲录音来个性化化身的声音。
华盛顿大学圣路易斯医学院的神经外科副教授彼得·布鲁纳表示，需要更多工作来改进这样的系统，并让更多患者能够使用。“一个基本的限制是这些手术有多侵入性，”他说。“这将会有多昂贵和多实用呢？”
在另一项《自然》杂志的研究中，68岁的帕特·贝内特在她的大脑外层植入了四个约玉米粒大小的传感器，每个传感器上装载了数十个电极。
斯坦福大学的研究人员将贝内特大脑中的传感器连接到经过训练的计算机上，以学习她的脑信号如何对应语言。经过每周两次为期四个月的训练，该系统能够以每分钟约62个单词的速度将贝内特的脑信号翻译成文本。使用约125,000个词汇，该系统的准确率达到76%。
“这可能会实现真正流利的对话，真正恢复与他人建立联系的能力，”斯坦福大学神经外科教授、研究合著者贾米·亨德森博士说。
亨德森表示，他的团队使用的更深的传感器可以通过读取单个神经元的信号产生更高清晰度的结果。但由于大脑会移动并且在传感器周围可能会发生瘢痕，这些装置可能会移位，大脑-计算机界面可能需要重新训练。
密歇根大学直接脑接口实验室的首席研究员简·哈金斯表示，更好的大脑-计算机界面引发了隐私担忧，她并未参与这些研究。
“你不想窥探到人们不希望别人听到的内心独白，”她说。
请写信给多米尼克·莫斯伯根，邮箱：[email protected]
本文发表于2023年8月24日的印刷版上，标题为“植入物将大脑信号转换为文本和语音”。