Pam Belluck在纽约时报发表文章,称最新的一个研究项目通过在病患脑中植入设备,可将患者试图说出的话可视化,这项发明将帮助许多失去了说话能力的病人,使他们再次获得交流的机会。
自2003年以来,潘乔就一直不能说话,那年20岁的他,在一次可怕的车祸后因严重的中风而瘫痪。
现在,在一项里程碑式的研究中,研究人员已经开发了他大脑中的语言区域,他只要想着说一些简单的单词和句子,就能够在屏幕上显示出来。
原理是,当这位昵称为潘乔的男子试图说话时,植入他大脑中的电极会将信号传输到电脑上,电脑屏幕就能显示他想要说的话。
研究人员说,他第一句被识别出来的话是:“我的家人在外面。”
这项成就于周三发表在《新英格兰医学杂志》上,将帮助许多失去了说话能力的病人。
没有参与研究的俄勒冈健康与科学大学的神经学和儿科教授梅兰妮·弗里德,就此评论说:“这项发明比我们想象中走得更远。”
现年38岁的潘乔,在三年前同意与神经科学研究人员合作,当时研究人员还不确定潘乔的大脑中是否保留了说话的机制。
领导这项研究的加州大学旧金山分校神经外科主席爱德华·张博士(音,Edward Chang)说:“他大脑的这一部分可能一直处于休眠状态,我们不知道它是否会醒来,让他能再次说话。”
为了检测与语言相关的感觉和运动过程的信号,研究小组植入了一个由128个电极组成的矩形片,这些信号与口腔、嘴唇、下颚、舌头和喉部相连。在为时81周的50次测试中,他们通过连接到潘乔头部端口的电缆,将植入芯片与计算机相连,并要求他尝试说出50个常见词汇,如“饥饿”、“音乐”和“计算机”等。
当潘乔这样做时,电极通过一种人工智能形式传输信号,识别所要表达的词语。
博士后工程师大卫·摩西(David Moses),与研究生肖恩·梅茨格(Sean Metzger)和杰西·刘(Jessie R. Liu)共同开发了这个系统,这三人是这项研究的主要作者,大卫·摩西说:“我们的系统将控制他声道的大脑活动,直接转化为单词和句子。”
潘乔尝试说出了50个不同的句子,如“我的护士就在外面”和“请把我的眼镜拿来”,以及回答诸如“你今天过得好吗?”等问题。
他的回答显示在屏幕上:“我很好。”
在潘乔试图说话的9000次尝试中,有将近一半的次数,显示出来的答案是正确的。当他试图读出写在屏幕上的句子时,机器的表现甚至更好。
通过将算法结果输送到一种自动更正语言系统中,计算机在近四分之三的时间里正确识别了句子中的单词,并有一半以上的几率完美解码了整个句子。
弗里德医生说:“从大脑语言运动区的电信号中破译语言的研究成果,是具有突破性的。”
弗里德医生正在研究尝试使用放置在头部帽子中的电极来检测信号,但并不是植入。
在纽约时报观察到的最近一次治疗中,潘乔在白色针织帽上戴着黑色棉帽以遮盖端口,他微笑着,用他有限的动作微微倾斜着头。在阵阵沙哑的声音中,他展示一个由单词组成的句子:“不,我不渴。”
在几个星期的采访中,他基本使用电子邮件与记者交流,通过使用头部控制的鼠标艰难地逐个单词输入,这是他通常依赖的方法。
他说,通过大脑植入电极识别他的语言,是“一种改变生活的体验”。
潘乔在他居住的北加州疗养院的视频聊天中打字说道:“虽然我不知道具体的办法,但我只是想变得更好,虽然医生总是告诉我,我变好的机会是0。”
后来,他发来电子邮件写道:“不能与任何人交流,不能进行正常的对话,不能以任何方式表达自己,这人生的毁灭,简直无法忍受。”
在使用电极的研究会议上,他写道:“这像是获得了第二次说话的机会。”
潘乔曾是加州葡萄园的一名健康的田间工人,直到一个夏天的周日,他在一场足球比赛后发生车祸,胃部受到了严重损伤,并进行了手术,之后,他就出院了,可以走路,可以说话,他认为自己已经走上了康复之路。
但第二天早上,他“开始呕吐,无法站起身”。医生说他经历了一次脑干中风,显然是由手术后的血凝块引起的。
一周后,他在一个狭小黑暗的房间里,从昏迷中苏醒了过来。他写道:“我试图移动身体,但我无法抬起一根手指,我想说话,但我吐不出一个字,于是我开始哭,但由于我不能发出任何声音,我所做的只是一些丑陋的姿势。”
他写道:“这真的很可怕,我真希望自己永远不要从昏迷中苏醒过来。”
利·霍赫伯格医生是马萨诸塞州总医院、布朗大学和退伍军人事务部的神经学家。他没有参与这项研究,但与人共同撰写了一篇关于这项研究的社论。这位医生表示,这种被称为语音神经假体的方法是医学创新浪潮的一部分,目的是帮助数以万计缺乏说话能力、但大脑中仍然含有语音神经通路的人。
这包括脑损伤或肌萎缩侧索硬化症(ALS)或脑瘫等疾病的患者,这些患者没有足够的肌肉控制能力来说话。
霍赫伯格医生说:“这项研究的紧迫性怎么强调都不为过。”
他正指导着一个名为BrainGate的项目,这个项目植入更细的电极来读取单个神经元的信号,最近解码了一个瘫痪病人尝试书写的动作。
他说:“现在只需要几年的时间,就会有一个临床上可用的系统,恢复病患的交流功能。”
多年来,潘乔通过使用连接在棒球帽上的指针,在电脑上拼出单词来进行交流,这种艰难的方式使他每分钟只能输入大约五个正确的单词。
他在电子邮件中说:“我不得不向前弯曲或倾斜我的头,然后向下,逐一戳打出每一个字母。”
去年,研究人员给他提供了另一个头控鼠标设备,但远不如研究中的大脑电极来得快。
通过电极,潘乔每分钟能交流15至18个字。这是目前研究可以达到的最大速度,因为计算机在提示之间需要等待时间。
领导这项研究的张博士说,更快的解码是有可能的,尽管目前还不清楚是否能够达到接近日常对话的速度,即每分钟大约150个字,速度是这个项目专注于说话的一个关键原因,它直接进入了大脑的词汇生成系统,而不是通过打字或手部动作。
他说:“这是人们交流最自然的方式。”
潘乔活泼的个性帮助研究人员战胜了各种挑战,但偶尔也会导致语音识别不稳定。
他通过电子邮件说道:“我有时无法控制自己的情绪,笑得很厉害,在实验中这么做不是太好。”
张博士回忆说,有的时候,在算法成功识别出一个句子后,“你可以看到潘乔明显地发抖,看起来有点像在傻笑”。当这种情况发生时,或者在重复性任务中他打哈欠或分心的话,就会导致“效果不佳,因为他并没有真正专注于想那些词。因此,我们还有一些研究要做,因为我们希望这套算法能更准确地工作。”
这种算法有时会混淆发音相似的单词,将“going”识别为“bring”,将“do”识别为“you”,把“F”开头的单词,比如“信仰”、“家庭”、“感觉”,识别为V开头的词语,比如“very”。
较长的句子需要语言预测系统更多的帮助。没有这个系统,“你喜欢我的音乐吗?”会被解码为“你喜欢坏的东西吗?”而“你好吗?”,变成了“你饿了吗?”
张博士说,在因为疫情而中断的几个月时间里,系统准确率提高了,这是因为算法在潘乔的努力中不断学习并自我升级,也因为“他的大脑中肯定有一些东西正在发生变化”,帮助算法“向我们显示了我们需要的信号,并把这些话说了出来。”
在中风之前,潘乔在他的家乡墨西哥只上到了六年级,但他凭借着非凡的毅力,后来获得了高中文凭,并参加了大学课程,获得了网络开发员证书,并开始学习法语。
他通过电子邮件说:“我认为车祸让我成为了一个更好的人,也更聪明了。”
由于手腕活动受限,潘乔用橡皮筋把毛绒袜子绑在手上,通过这种方法操纵方向杆来指挥电动轮椅。 在商店里,他会在某个东西附近徘徊,直到收银员解读出他想要什么,比如一杯咖啡。
他说:“他们把咖啡放在我的轮椅上,我把它带回家,这样我就可以在帮助下喝咖啡了。这里的人都对此感到惊讶,他们常常问我,‘你是怎么买的,你又是怎么告诉他们你想要什么的!’”
他还与其他研究人员合作,使用电极帮助他操纵一个机械臂。
他每周两次试着说话可能会很困难,也很累,但他总是“期待着每天醒来,从床上爬起来,等待我的加州大学旧金山分校的工作人员到来”。
语音研究是十多年研究的结晶,张博士的团队绘制了所有元音和辅音的大脑活动图,并通过健康人的大脑来制作计算机化的语音。
研究人员强调,电极并不是在读取潘乔的思想,而是检测与他试图说出的每个单词相对应的大脑信号。
俄勒冈健康与科学大学的神经学和儿科教授弗里德说:“当他正在思考一个词的时候,计算机接收到的不会是随机的想法。”
张博士说,“在未来,我们可能会做到把人们在想什么反应出来”,这会引发“关于这种技术的伦理道德方面的问题”。但他表示,这“其实只是为了恢复个人的声音”。
在新的任务中,潘乔默念单词,并使用军事字母拼出不太常见的单词。如用“delta”代表“d”,用“foxtrot”代表“f”(注:军事字母用26个词语来代表字母表的每个字母,主要目的是在通话中减少拼写错误)。
工程师大卫·摩西说:“潘乔是真正的先驱。”
张博士说,团队还希望设计出具有更高灵敏度的植入物,并实现植入设备的无线装置,以避免感染。
弗里德医生说,随着越来越多的患者参与进来,科学家们可能会发现个体大脑的变化,并补充说,如果患者疲惫或生病,他们的大脑信号的强度或反应时间也有可能会发生变化。
潘乔说:“我只是想以某种方式为自己做点什么,哪怕只是一丁点,但现在我知道了,我不是只为自己做这件事。”