机器学习时代，神经科学家如何阅读和解码人类的思想(4)

这些层的设计方式是：它们的尺寸可以迅速减少以平衡 GPU 内存的消耗。为了便于网络可视化分析，作者在最后一个卷积层中使用了全卷积，而不是常见的 CNN 中的池化操作。在卷积层堆叠之后，使用了两个全连接层；第一个有 64 个通道，第二个进行七路分类（每类一个）。在本文模型中，每个卷积层之后都引入了 ReLU 函数和 BN 层，而在最后一个全连接层中采用了 softmax 函数。

图 1. 深度神经网络。该网络由五个卷积层和两个全连接层组成。该模型将 fMRI 扫描作为输入，并提供标记的任务类别作为输出
对人脑进行特定任务解码面临的一个最大问题是可用数据有限。在其他类似的应用中，可以采用数据增强的方式以基于有限的数据生成更多的数据样本。数据增强的主要目的是增加数据的变化，这可以防止过度拟合并提高神经网络的不变性。与传统图像相反，本实验中的输入图像已经与标准的 MNI152 模板对齐。因此，在空间域进行数据增强是多余的。考虑到输入数据的不同持续时间，作者在时间域中应用了数据增强，以提高神经网络在这种情况下的泛化能力。在训练阶段的每个 epoch 中，从每个输入数据项中随机分割出 k 个连续的 TR 片段（实验中 k=27）（图 2a）。为了避免报告的准确性出现波动，在验证和测试阶段只使用由每个数据的前 k 个 TR 组成的片段。

图 2. 模型训练和网络可视化的工作流程。(a) 模型自动学习标记的 fMRI 时间序列的特征，并在验证的损失达到最小时停止训练。因此，模型训练时不需要手工提取特征。迁移学习的工作流程类似，只是使用训练后的模型取代未训练的模型。每个数据项的分类被反向传播到网络层，以获得对分类重要的部分的可视化。可视化的数据具有与输入数据相同的大小，然后在时间维度上缩小，并映射到 fsaverage 表面