万字综述之生成对抗网络（GAN）(9)

GAN的训练障碍
理论中存在的问题
经典 GAN 的判别器有两种 loss，分别是：

使用上面第一个公式作为 loss 时：在判别器达到最优的时候，等价于最小化生成分布与真实分布之间的 JS 散度，由于随机生成分布很难与真实分布有不可忽略的重叠以及 JS 散度的突变特性，使得生成器面临梯度消失的问题。
使用上面第二个公式作为 loss 时：在最优判别器下，等价于既要最小化生成分布与真实分布直接的 KL 散度，又要最大化其 JS 散度，相互矛盾，导致梯度不稳定，而且 KL 散度的不对称性使得生成器宁可丧失多样性也不愿丧失准确性，导致 collapse mode 现象 [7]。
实践中存在的问题
GAN 在实践中存在两个问题：
其一，GAN 提出者 Ian Goodfellow 在理论中虽然证明了 GAN 是可以达到纳什均衡的。可是我们在实际实现中，我们是在参数空间优化，而非函数空间，这导致理论上的保证在实践中是不成立的。
其二，GAN 的优化目标是一个极小极大（minmax）问题，即
，也就是说，优化生成器的时候，最小化的是
。可是我们是迭代优化的，要保证 V(G,D) 最大化，就需要迭代非常多次，这就导致训练时间很长。
如果我们只迭代一次判别器，然后迭代一次生成器，不断循环迭代。这样原先的极小极大问题，就容易变成极大极小（maxmin）问题，可二者是不一样的，即：