机器学习时代，神经科学家如何阅读和解码人类的思想(3)

1.1 方法介绍
1.1.1 数据介绍
本研究使用了 HCP S1200 最小预处理的 3T 数据版本，其中包含了大量年轻健康成年人的成像和行为数据[3]。作者使用了 1034 名 HCP 受试者的数据，他们共执行了七项任务：情绪、赌博、语言、运动、关系、社交和工作记忆（working memory，WM）。具体用于实验分析的是 HCP volume-based 的预处理 fMRI 数据，这些数据已经被归一到 Montreal Neurological Institute"s(MNI) 152 空间。七项任务中的大部分是由控制条件（例如，WM 任务中的 0 - 回位和情感任务中的形状刺激）和任务条件（例如，WM 任务中的 2 - 回位和情感任务中的恐惧刺激）组成的。在每个任务中，只有一个条件被选为下一个步骤。对于只有两个条件的任务（情感、语言、赌博、社交和关系任务），与任务关联度大的条件优先于其他条件。
WM 和运动任务包含一个以上的任务条件，作者则是从列表中随机选择一个（WM 的 2 个背部身体和运动的右手）（表 1）。
对于每个任务，输入样本是一个连续的 BOLD（Blood-oxygen-level-dependent imaging）序列，涵盖了整个区块和区块后的 8s 内的样本，包括血流动力学反应函数（hemodynamic response function，HRF）的后信号。此外，将每个 BOLD volume 从 91×109×91 剪裁到 75×93×81，以排除掉不属于大脑的区域。因此，输入数据的大小从 27×75×93×81 到 50×75×93×81（time × x × y × z，TR=0.72s）。在所有的任务和受试者中，总共获得了 34,938 个 fMRI 4D 数据项。

表 1. 每个任务所选择的 BOLD 时间序列的细节
1.1.2 模型介绍
图 1 为本文提出的网络模型的完整流程图。该网络由五个卷积层和两个全连接层组成。其中，27×75×93×81 的数据是通过节 1.1.1 的预处理和数据增强步骤产生的。第一层使用了 1×1×1 的卷积滤波器，即卷积神经网络（CNN）的结构中最普遍的设定，这些滤波器可以在不改变卷积层的感受野的情况下增加非线性。这些滤波器可以为 fMRI volume 中的每个体素生成时间描述符，而且它们的权重可以在训练中由 DNN 学习得到。因此，采用这种类型的过滤器后，数据的时间维度从 27 降到了 3。在这之后，堆叠一个卷积层和四个残差块以提取高层次（high-level）特征。本文使用的残差块是通过用一个三维卷积层替换原始残差块中的二维卷积层而得到的。四个残差块的输出通道分别为 2 的倍数 -----32、64、64 和 128。