大脑信号解码技术已走进现实(2)

目前，神经解码的研究范畴不断在扩展，包括听觉神经解码、主观疼痛状态解码、视觉神经解码等，这些在当前解码技术的助推下取得了诸多进展。

听觉神经解码
大脑信号解码技术已经被用于开发脑机接口，以用于诸如语音假肢的开发，这些语音假肢可以将大脑的活动模式转换为可理解的语音。解码与语音相关的大脑活动模式具有极大的挑战性，因为语音需要对口和喉中的声道肌肉进行复杂、精确和快速的控制。虽然语音假肢已经开发了多年，但重建出的语音质量一直不是很理想，许多瘫痪的患者仍旧依赖其他交流方式，如测量头部和眼睛运动的设备、通过光标来拼出单词的设备等。为此，研究人员越来越多地使用基于深度学习的人工智能技术，更准确地解码与语音相关的大脑活动模式。
最近有两项研究结果显示，听觉皮层神经活动的解码准确性以及从神经活动中重建出的语音质量均得到显著提升。一项研究为，2018年美国哥伦比亚大学的研究人员将深度学习的最新进展与先进的语音合成技术相结合，从听觉皮层活动中重建出了高质量语音。研究人员将高密度的电极网格直接放置在大脑左颞叶上，从而使研究人员可以解码正在聆听简短故事的患者的大脑活动模式。在技术上，研究人员设计了一种深度神经网络算法，从大脑活动中提取关键特征并将其与先进的语音合成算法相结合，重建患者听到的语音。相比之前的研究，这项研究的准确性更高。另一项研究为，2019年美国加利福尼亚大学旧金山分校的研究人员通过深度学习方法直接从大脑信号中产生含150个单词的句子。在这项工作中，研究人员使用了一种通过高密度皮层脑电图的技术跟踪志愿者在进行表达时大脑中控制言语和发音器官运动区域的活动模式。
为了重建话语，研究人员不是将大脑信号直接转换为音频信号，而是使用一种两级解码的方法：他们首先将神经信号转换为声道发音器官的运动模式，然后将解码的运动模式转换为句子。这项研究代表了语音假肢发展方面的重大飞跃，以接近正常语音的速度与瘫痪患者进行交流。