万字综述之生成对抗网络（GAN）(4)

LSGAN
上面提到，LSGAN 是 f-divergence 中
时的特殊情况。具体来说 LSGAN 的 Loss 如下：
原作中取 a=c=1,b=0。LSGAN 有两大优点：
稳定训练：解决了传统GAN训练过程中的梯度饱和问题 改善生成质量：通过惩罚远离判别器决策边界的生成样本来实现
对于第一点，稳定训练，可以先看一张图：

上图左边是传统 GAN 使用 sigmoid 交叉熵作为 loss 时，输入与输出的对照关系图。上图右边是 LSGAN 使用最小二乘 loss 时，输入与输出的对照关系图。可以看到，在左图，输入比较大的时候，梯度为 0，即交叉熵损失的输入容易出现梯度饱和现象。而右边的最小二乘 loss 则不然。
对于第二点，改善生成质量。这个在原文也有详细的解释。具体来说：对于一些被判别器分类正确的样本，其对梯度是没有贡献的。但是判别器分类正确的样本就一定是很接近真实数据分布的样本吗？显然不一定。
考虑如下理想情况，一个训练良好的 GAN，真实数据分布 Pdata 和生成数据分布 Pg 完全重合，判别器决策面穿过真实数据点，所以，反过来，我们利用样本点离决策面的远近来度量生成样本的质量，样本离决策面越近，则 GAN 训练的越好。