机器学习时代，神经科学家如何阅读和解码人类的思想(13)

具体结果见图 10（c）。76.1% 的实验中受试者选择了 VAE-GAN 重建的图像，而 23.9% 的实验中受试者选择了 PCA 重建的图像。

图 10. 人脸重建。（a）重建人脸图像示例；（b）两两识别结果；（c）完全识别结果
进一步的，为了确定哪一个大脑区域对两个大脑解码模型的人脸重建能力贡献最大，作者将每个受试者的体素选择划分为三个大小相等的子集，如图 11a 所示。然后分别对这三个子集进行脑解码和面部重建。两两识别结果显示，枕骨体素和较小程度的颞体素提供了大脑解码所需的大部分信息（图 11b）。

图 11. 不同脑区的贡献情况。（a）体素分割过程；（b）不同区域的两两识别结果，Full select 指的是图 9 中描述的体素集；它与图 10b 中的数据相同。圆圈代表个别受试者的表现。虚线是单个受试者表现的 p<0.05 的显著性阈值。在三个子集中，枕部体素的表现是最优的，其次是颞部体素。在所有情况下， VAE-GAN 模型的性能仍然高于 PCA 模型。
最后，作者通过创建一个简单的分类器以根据人脸属性为大脑解码的潜在向量贴标签的方式，研究人脑对于特定人脸属性的表征。具体的关于人脸 “性别” 属性的实验结果见图 12。将每个大脑解码的潜在向量投射到潜在空间的 "性别" 轴上（图 12a），投射的符号决定了分类输出（正数代表“男性”，负数代表“女性 ”）。由图 12b 的结果可以看出，这个单一衡量标准的分类器提供了足够的信息来对人脸性别进行分类，准确率达到了 70%。非参数 Friedman 检验表明，性别解码性能在三个体素子集中是不同的，而 post hoc 检验则显示枕叶体素的表现明显好于额顶叶体素，而颞叶体素介于两者之间。