万字综述之生成对抗网络（GAN）(21)

特点：理想的度量指标，且可以检测过拟合。
其他评价方法
AIS，KDE 方法也可以用于评价 GAN，但这些方法不是 model agnostic metrics。也就是说，这些评价指标的计算无法只利用：生成的样本，真实样本来计算。
总结
实际实验发现，MMD 和 1-NN two-sample test 是最为合适的评价指标，这两个指标可以较好的区分：真实样本和生成的样本, mode collapsing。且计算高效。
总体说来，GAN 的学习是一个无监督学习过程，所以很难找到一个比较客观的，可量化的评估指标。有许多指标在数值上虽然高，但是生成效果却未必好。总之，GAN 的评价目前依然是一个开放性的问题。
GAN与强化学习的关系
强化学习的目标是对于一个智能体，给定状态 s，去选择一个最佳的行为 a (action)。通常的可以定义一个价值函数 Q(s,a) 来衡量，对于状态 s，采取行动 a 的回报是 Q(s,a)，显然，我们希望最大化这个回报值。对于很多复杂的问题，我们是很难定义这个价值函数 Q(s,a) 的，就像我们很难定义 GAN 生成的图片到底有多好一样。
说到这里，大家可能反应过来了。GAN 生成的图片好不好，我确实找不到一个合适的指标，那我学习一个判别器去判断一下生成图片和真实图片的距离不就好了吗。强化学习里面的价值函数 Q(s,a) 难以定义，那直接用个神经网络去学习它就好了。典型的模型有 DDPG，TRPO 等等。
GAN的优缺点
优点
1. GAN 的优点在开头已有所介绍。这里再总结一下：
2. GAN 可以并行生成数据。相比于 PixelCNN，PixelRNN 这些模型，GAN 生成非常快，因为 GAN 使用 Generator 替代了采样的过程；
3. GAN 不需要通过引入下界来近似似然。VAE 由于优化困难，引入了变分下界来优化似然。但是 VAE 对于先验和后验分布做了假设，使得 VAE 很难逼近其变分下界；
从实践来看，GAN 生成的结过要比 VAE 更清晰的多。
缺点
GAN 的缺点在前文也有详细讨论，主要问题在于：
1. 训练不稳定，容易崩溃。这个问题有学者提出了许多解决方案，比如 WGAN，LSGAN 等；