Edward Chang

通过脑活动实时解码对话
2019-08-18 12:33
来源:《自然—通讯》

 

《自然—通讯》近日发表的一项研究介绍了一种可以将问答对话相关脑活动转化为文字记录的神经解码器。

大脑皮层包含不同的区域,其中的神经活动会编码语音感知与生成。研究表明,这种脑活动可以被解码;但是之前的研究侧重于将听说任务分开解码。

美国加州大学旧金山分校的Edward Chang及同事在模拟的问答对话试验中,通过脑活动解码语音感知与生成。被试为3名正在接受癫痫治疗的患者,他们要听一系列的问题并通过一套规定的答案,口头回答问题,作者将被试在这个过程中的脑皮层活动记录了下来,之后这些数据被用于训练语音检测和解码模型。接着,被试再听一系列问题,并大声地用自己所选的答案作答。

仅使用在对话中记录下的神经信号,作者便能够检测被试何时在听、何时在说,并且能够预测所听或所说的是什么。通过解码问题,他们能够利用所得信息提高被解码答案的准确性(因为部分答案只适用于特定问题),而且对于生成语音和感知语音的解码准确性分别提高到了61%和76%。

还需要开展进一步的工作来解码想象的语音回答,这样才能使因为损伤或神经退行性疾病而无法说话的个体使用这项技术。(来源:中国科学报 唐一尘编译)

相关论文信息:https://doi.org/10.1038/s41467-019-10994-4

 
 
 
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。

分享到:

0
上一条
下一条
网友评论