万字综述之生成对抗网络（GAN）(19)

前面都是对于 GAN 的微观层面的探讨。接下来，我们会站在一个宏观的视角来讨论 GAN。
GAN的评价
GAN 的评价方法多种多样，现有的 example-based（顾名思义，基于样本层面做评价）方法，均是对生成样本与真实样本提取特征，然后在特征空间做距离度量。具体框架如下：

关于本小节的符号对照关系如下：
Pg 表示生成数据分布，Pr 表示真实数据分布，E 表示数学期望，x 表示输入样本，x~Pg 表示 x 为生成样本的采样，x~Pr 表示 x 为真实样本的采样。y 表示样本标签，M 表示分类网络，通常选择 Inception network。
下面分别对常见的评价指标进行一一介绍。
Inception Score
对于一个在 ImageNet 训练良好的 GAN，其生成的样本丢给 Inception 网络进行测试的时候，得到的判别概率应该具有如下特性：
1. 对于同一个类别的图片，其输出的概率分布应该趋向于一个脉冲分布。可以保证生成样本的准确性。
2. 对于所有类别，其输出的概率分布应该趋向于一个均匀分布，这样才不会出现 mode collapsing 等，可以保证生成样本的多样性。
因此，可以设计如下指标：
根据前面分析，如果是一个训练良好的 GAN， pM(y|x) 趋近于脉冲分布， pM(y) 趋近于均匀分布。二者KL散度会很大。Inception Score 自然就高。实际实验表明，Inception Score 和人的主观判别趋向一致。IS 的计算没有用到真实数据，具体值取决于模型 M 的选择。
特点：可以一定程度上衡量生成样本的多样性和准确性，但是无法检测过拟合。Mode Score 也是如此。不推荐在和 ImageNet 数据集差别比较大的数据上使用。