机器学习时代，神经科学家如何阅读和解码人类的思想(8)

图 5. 工作记忆任务分类的迁移学习结果（0bk-body 与 2bk-body）
经过五次交叉验证，本文提出的 DNN 的平均准确率为 94.7±1.7%（图 6a），平均 AUC 为 ROC 0.996±0.005（图 6b）。平均混淆矩阵显示，最主要的混淆是由左脚与右脚造成的（图 6a）。图 6c 显示，通过双样本 t 检验，DNN 的准确性（94.7±1.7%）明显高于 SVM-MVPA 全脑（t[8]=3.59，p=.0071；平均 ±SD=81.6±7.1%）和 SVM-MVPA ROI（t[8]=8.77，p=.000022；平均 ±SD=68.6±5.7%）。然后，作者验证了学习所需的数据量。所有三种方法在所有 N_Subj 中都报告了高于经典方法的准确性。N_Subj=8 足以使 DNN（80.3%）在准确性方面超过普通的 SVM-MVPA 全脑方法（41.7%）和 SVM-MVPA ROI（56.3%）（图 6d）。

图 6. 运动任务（左脚、左手、右脚和舌头）的分类迁移学习结果
小结：本文提出的方法能够直接从 4D fMRI 时间序列中对人正在进行的大脑功能进行分类和映射。本文方法允许从简短的 fMRI 扫描中解码受试者的任务状态，无需进行特征选择。这种灵活高效的大脑解码方法可以应用于神经科学的大规模数据和精细的小规模数据。此外，它的便利性、准确性和通用性的特点使得该深度框架可以很容易地应用于新的人群以及广泛的神经影像学研究，包括内部精神状态分类、精神疾病诊断和实时 fMRI 神经反馈等等。
2、使用深度生成神经网络从 fMRI 模式重建人脸