科学家们已经开发出一种脑机接口(BCI)技术,旨在恢复脊髓损伤和神经系统疾病(如肌萎缩性脊髓侧索硬化症)患者的交流能力。
具体来讲,他们利用最新的一套皮质内脑机接口(intracortical BCI)技术中将瘫痪病人脑中所想之事呈现出来,并利用递归神经网络(RNN)解码方法病人所想之事实时转换为通俗易懂的文本,让其(病人)实现与人沟通这件事情。
据悉,该技术翻译出来的句子准确率为 94% 至 99%,可称得上是该领域的一大进步。
该研究发表在最新一刊的《自然( Nature )》杂志上,由美国国立卫生研究院通过推进创新神经技术®(BRAIN)计划以及美国国家神经疾病和中风研究所(NINDS)和国家耳聋和其他交流障碍研究所(NIDCD)资助。
据报道,NINDS的使命是寻求有关大脑和神经系统的基本知识,并利用这些知识来减少神经系统疾病的负担。
至于国家聋哑和其他交流障碍研究所(NIDCD),则是支持并开展关于听觉、平衡、味觉、嗅觉、声音、言语和语言的正常和紊乱过程的研究和研究培训,并向公众提供基于科学发现的健康信息,从而推动沟通科学的发展。
此外,这项研究的技术除了NINDS和NIDCD资助以外,还由NIH BRAIN Initiative、NINDS和NIDCD(NS095548、NS098968、DC009899、DC017844、DC014034、DC017844)、HHMI、美国退伍军人事务部、L. 和P. Garlick、S. 和B. Reeves、斯坦福大学吴采神经科学研究所以及西蒙斯基金会全球大脑合作项目资助。
虽然迄今为止仅在一名患者身上试验了该技术,但这一技术似乎比以前就已经发明出来的通信BCI技术更准确、更有效,可以帮助瘫痪的人在不使用手的情况下“迅速打字”,实现人与人之间有效沟通。
具体实施BCI的过程
美国国立卫生研究院“BRAIN”计划主任John Ngai博士说:“这项研究代表了BCI和机器学习技术发展的一个重要里程碑,它揭开了人脑如何控制通信这种复杂行为的过程。这些知识为‘改善’其他神经系统损伤和疾病患者的生活提供了重要基础。”
据悉,当一个人因脊髓损伤而瘫痪时,大脑中却仍在运转。这意味着,虽然参与者不能移动他的手或手臂来写字,但他的大脑仍然产生了相关信息的信号。
“研究报告的共同作者、霍华德-休斯医学研究所(HHMI)研究员、斯坦福大学Hong Seh和Vivian W. M. Lim教授Krishna Shenoy博士说:”想象一下,如果你只能上下移动你的眼睛却动弹不得,这样的技术却可以让输入你想法的速度与正常的手写或在智能手机上打字相媲美。这就足以说明这项技术对那些‘已经完全不能靠自身能力实现沟通’的病患有多么重要。”
实施该项技术的过程中,首先,参与者被要求记住电脑屏幕上显示的字母以及其相关意义,其中包括26个小写字母和一些标点符号,”>”被用作空格,”~”被用作 “句号”。
然后,受试者的运动前区平层被植入两个脑机接口芯片,共计大约 200 个电极。
戴上电极片后,该受试者利用刚刚记住的字母“想象着用笔在纸上写字”,受试者大脑中植入的电极检测到“他试图写字的活动”,最后,算法对每个字符对应的活动模式进行解码,并将这些活动模式转换成可在屏幕上显示的文本。
斯坦福大学HHMI研究科学家、该研究的主要作者弗兰克-威利特博士说:“这种技术依赖于使用大脑移动光标在屏幕上 ‘输入单词’,尝试书写每个字母会在大脑中产生一种独特的活动模式,使计算机更容易识别正在书写的内容,并具有更大的准确性和速度。”
使用这个系统,参与者能够以每分钟约90个字符的速度组成句子并与他人交流,与类似年龄的人在智能手机上打字的速度相当。
“沟通是我们在社会中生存中必不可少的一件事情”,国家疾病预防控制中心主任Debara L, Tucci, M.D., M.S., M.B.A说,”在当今基于互联网的交流世界中,有严重语言和身体障碍的人可能面临重大的交流障碍,并有可能被孤立。我们希望这些技术将鼓励这一最新BCI技术的商业开发”。
未来的设想
在未来,Shenoy博士的团队还打算尽可能多次的,在失去说话能力的病人身上测试该系统,此外,他们还希望增加参与者可用的字符数量(如大写字母和数字)。
这项名为BrainGate2的临床试验是由国际公认的实验室、大学和医院合作进行的,致力于推进脑机接口技术,正在测试直接将人的大脑与计算机连接的BCI的安全性。
“虽然现在手写每分钟可以接近20个单词,但我们的语速往往在每分钟125个单词左右,这是补充手写的另一个令人兴奋的方向。如果将这些系统结合起来,可以为患者提供更多有效沟通的选择”,Shenoy说。
结语
简单来说,当一个人因受伤或疾病而四肢瘫痪,甚至不能说话时,只要大脑的神经活动仍然存在,科学家们就利用这项技术帮助患者恢复交流能力。
无法动弹的患者坐在与该技术相关的设备屏幕面前,戴上共计200个电极的芯片,然后脑里所想的每一句话每一个字就会通过符号的方式呈现在屏幕上,之后设备通过编译将这些符号翻译成一句话或者一个字。
而这句话这就是患者想要表达的话语。
总体来讲,将脑中的 “笔迹” 转化为屏幕上的单词、句子,其技术前景和商用潜力都十分令人鼓舞,人机结合的时代正在走来。
本文由加美必读编译自:美国国立卫生研究院网站
原文链接:
https://www.nih.gov/news-events/news-releases/composing-thoughts-mental-handwriting-produces-brain-activity-can-be-turned-into-text