机器学习时代，神经科学家如何阅读和解码人类的思想(9)

本文是发表在 Communications Biology 中的一篇文章[7]。由上一篇文章的介绍可以知道，目前，已经可以从功能磁共振成像的大脑反应中解码识别不同的类别。但是，针对视觉上相似的输入（例如不同的人脸）的分类和识别仍然是非常困难的。本文具体探讨的是应用深度学习系统从人类的功能磁共振成像重建人脸图像。作者基于一个大型名人脸部数据库使用一个生成对抗网络（GAN）的无监督过程训练了一个变分自动编码器（VAE）神经网络。自动编码器的潜在空间为每幅图像提供了一个有意义的、拓扑学上有组织的 1024 维描述。然后，向人类受试者展示了几千张人脸图像，并学习了多体素 fMRI 激活模式和 1024 个潜在维度之间的简单线性映射。最后，将这一映射应用于新的测试图像，将 fMRI 模式转化为 VAE 潜在编码，并将编码重建为人脸。
2.1 模型介绍
本文所使用的 VAE-GAN 模型如图 7（a）所示，其中的三个网络学习完成互补的任务。具体包括：编码器网络将人脸图像映射到一个潜在的表征（1024 维）上，显示为红色。生成器网络将其转换为一个新的人脸图像。鉴别器网络（只在训练阶段使用）为每张给定的图像输出一个二进制的判断，可以是来自原始数据集，也可以是来自生成器输出，即：该图像是真的还是假的？训练的过程具有 "对抗性"，因为判别器和生成器的目标函数相反，并交替更新：如果鉴别器能够可靠地确定哪些图像来自生成器（假的），而不是来自数据库（真的），就会得到奖励。如果生成器能够产生鉴别器网络不会正确分类的图像，就会得到奖励。训练结束后，丢弃鉴别器网络，编码器 / 生成器网络被用作标准（变分）自动编码器。
网络中的 "人脸潜在空间" 提供了对大量人脸特征的描述，可以近似于人脑中的脸部表现。在这个潜在空间中，人脸和人脸特征（例如，男性）可以被表示为彼此的线性组合，不同的概念（例如，男性，微笑）可以用简单的线性操作来处理（图 7b）。作者分析，这种深度生成神经网络潜在空间的多功能性表明它可能与人脑的人脸表征有同源性，这也使得它成为基于 fMRI 的人脸解码的理想候选方法。由此，作者推断，在对大脑活动进行解码时，学习 fMRI 模式空间和这种潜在空间之间的映射，而不是直接学习图像像素空间（或这些像素的线性组合，例如 PCA 等的处理方法），可能是非常有用的。此外，作者推测 ，VAE-GAN 模型能够捕捉人脸表征的大部分复杂性，使 "人脸流形" 变得平坦，就像人类大脑可能做的那样。因此，作者认为，采用简单的线性大脑解码方法就足够了。