万字综述之生成对抗网络（GAN）(11)

注意，判别器后面 k 次迭代不更新自己的参数，只计算 loss 用于更新生成器。这种方式使得生成器考虑到了后面 k 次判别器的变化情况，避免在不同 mode 之间切换导致的模式崩溃问题。此处务必和迭代 k 次生成器，然后迭代 1 次判别器区分开 [8]。
DRAGAN 则引入博弈论中的无后悔算法，改造其 loss 以解决 mode collapse问题 [9]。前文所述的 EBGAN 则是加入 VAE 的重构误差以解决 mode collapse。
针对网络结构的改进方法
Multi agent diverse GAN (MAD-GAN) 采用多个生成器，一个判别器以保障样本生成的多样性。具体结构如下：

相比于普通 GAN，多了几个生成器，且在 loss 设计的时候，加入一个正则项。正则项使用余弦距离惩罚三个生成器生成样本的一致性。
MRGAN 则添加了一个判别器来惩罚生成样本的 mode collapse 问题。具体结构如下：

输入样本 x 通过一个 Encoder 编码为隐变量 E(x) ，然后隐变量被 Generator 重构，训练时，Loss 有三个。
DM 和 R （重构误差）用于指导生成 real-like 的样本。而 DD 则对 E(x) 和 z 生成的样本进行判别，显然二者生成样本都是 fake samples，所以这个判别器主要用于判断生成的样本是否具有多样性，即是否出现 mode collapse。