用AI来实现精神疾病诊断、视频测谎？人大ML研究组开发了一位AI读心师(3)

图 3 视频测谎深度学习模型 FFCSN
不同于常见的双流网络模型（two-stream network），FFCSN 模型考虑将人脸检测用于空间流来捕捉面部特征，并在整个网络中利用相关学习来融合时空特征进行联合训练。此外，FFCSN 模型还引入了元学习（meta learning）和对抗学习（adversarial learning）来解决训练数据量小的问题。
FFCSN 模型在公开的真实庭审视频数据集上取得了当前最好的结果，同时，该模型在考虑音频与文本信息后实现了 97% 的识别准确率（如图 4），验证了该模型在视频测谎中非常有效。

图 4 视频测谎模型的结果比较
AI 读心师系统的具体实现方式
得益于上述研究成果，AI 读心师系统应运而生。基于人脸识别技术，该系统主要有三个功能模块：1. 心理健康测评；2. 个人信用分析；3. 五重性格评估。具体实现方式上，输入被测试者的面部表情短视频后，系统会输出心理健康分析、个人信用评估、五重性格测试三个维度的分析结果。
其分析流程及采用的主要算法和模型描述如下：
1. 人脸检测：被试人面部表情视频流输入，经过 opencv 和 ffmpeg 工具进行视频抽帧，由人脸检测模型（多任务级联卷积神经网络 MTCNN）对每帧中的人脸进行检测、裁剪、矫正后得到标准人脸图像，并作为后续三个分析模块的输入数据；
2. 心理健康测评：人脸检测部分得到的标准人脸图像根据是否正脸 、是否清晰、裁剪尺寸适当的原则经过筛后得到一张关键人脸图像，将该关键人脸图像输入预训练好的心理健康测评模型（InceptionV3 使用心理健康人脸图像数据集进行预训练）中进行特征提取，并将提取出的人脸特征输入 SVM 分类器中进行分类，最终得到该模块输出，即心理健康程度评分；