机器学习时代，神经科学家如何阅读和解码人类的思想(12)

作者首先对比了 VAE-GAN 和 PCA，将灰质体素的一个子集定义为 "兴趣区域" (ROI)。事实上，大脑的许多部分都在进行与人脸处理或识别无关的计算。作者的 ROI 只选择生理上的可能应激大脑区域，选择标准考虑了两个因素。(i) 预计体素会对人脸刺激作出反应（通过脸部和基线条件之间的 t 检验来确定，即固定在空屏幕上），(ii)将 1024 个潜在人脸特征作为回归因子输入线性模型时，体素的 BOLD 反应的解释方差有望改进（与只有二元人脸回归因子的基线模型相比：存在 / 不存在人脸）。所选的体素如图 9 描述，包括 枕部、颞部、顶部和额部区域。作者对 PCA 人脸参数进行了单独的选择， 并将这些参数用于基于 PCA 的 "大脑解码器"（所选体素的平均数量：106,685；范围：74,073-164,524）；
两个模型所选区域几乎相同。

图 9. 为大脑解码选择的体素。在大脑解码器训练阶段，体素的选择是基于其视觉反应性和 GLM 拟合度的综合考虑（图 8a）。颜色代码（红色到黄色）表示每个特定体素被选中的受试者的数量（1-4）。彩色的线表示标准皮质区域的边界
图 10（a）给出了人脸重建图像的示例。虽然 VAE-GAN 和 PCA 都能重建出与原始人脸相似的图像，但是由 VAE-GAN 重建的图像更真实，更接近原始图像。作者通过将 20 张测试人脸的大脑估计潜在向量与 20 张实际人脸的潜在向量相关联来量化大脑解码系统的性能，并使用成对相关值来测量正确分类的百分比。具体结果见图 10（b）。实验结果表明，从人脑激活到 VAE–GAN 潜在空间的线性映射比到 PCA 空间的映射更容易、更有效。作者认为，这与其 “深度生成神经网络更接近于人脸表征的空间” 的假设相吻合。此外，作者还进行了模型间的完全识别结果比较，即利用重建图像的感知质量作为指标衡量重建的人脸水平。实验要求人类观察者比较两种模型重建的人脸质量：四个受试者的原始测试图像与相应的 VAE-GAN 和 PCA 重建图像一起显示，受试者判断哪一个重建图像从感知角度判断更像原始图像。