机器学习时代，神经科学家如何阅读和解码人类的思想(11)

作者分析，这一属性是因为 VAE-GAN（和 PCA）的潜在变量往往是不相关的。因此，由 SPM GLM 分析进行的线性回归产生了一个优化的权重矩阵 W，以预测大脑对训练人脸刺激的反应模式。

图 8. 基于 VAE-GAN 潜在表征的人脸图像的大脑解码。（a）训练训阶段。（b）测试阶段
假设在 1025 维的人脸潜在向量 X（包括了一个偏置项）和相应的大脑激活向量 Y 之间存在一个线性映射 W：
训练大脑解码器通过以下方式找到最佳映射 W：
为了在 "测试阶段" 使用这个大脑解码器，作者简单地反转了线性系统，如图 8b 所示。作者向同一受试者展示了 20 张新的测试人脸，这些人脸在训练阶段并没有向受试者展示过。每个测试人脸平均呈现 52.8 次以增加信噪比。所得的大脑活动模式简单地与转置的权重矩阵 W^T 及其反协方差矩阵相乘，以产生 1024 个潜在人脸维度估计值。然后，使用 GAN（如图 7a 所示）将预测的潜在向量转化为重建的人脸图像。对于基线 PCA 模型，方法的流程是相同的，但人脸的重建是通过解码的 1024 维向量的 inverse PCA 获得的。测试大脑解码器包括使用学到的权重 W 为每个新的大脑激活模式 Y 检索潜在的向量 X，利用下式求解 X：
作者已经将本文使用的预训练的 VAE-GAN 网络以及 Python 和 TensorFlow 源代码公布在了 GitHub 上：https://github.com/rufinv/VAE-GAN-celebA.
2.2 实验结果分析
本实验中，通过 Amazon Mechanical Turk (AMT)获得用于比较 VAE-GAN 和 PCA 人脸重建的图像质量的人类评价结果。四个受试者的 20 张测试图像中的每一张都标记为 "原始 ”，然后是 VAE-GAN 和基于 PCA 的重建图像，在" 选项 A "和" 选项 B "的字样下显示。实验中，向受试者发布的指示为：" 在两个修改过的人脸中，哪一个最像原来的人脸？选择 A 或 B"。每对图像总共被比较了 15 次，由至少 10 个不同的 AMT" 工作者 " 进行，每个反应分配（VAE-GAN/PCA 为选项 A/B）由至少 5 个工作者查看。因此，该实验在两个人脸重建模型之间总共进行了 1200 次（=4×20×15）比较。