万字综述之生成对抗网络（GAN）(2)

GAN的基本概念
GAN（Generative Adversarial Networks）从其名字可以看出，是一种生成式的，对抗网络。再具体一点，就是通过对抗的方式，去学习数据分布的生成式模型。
所谓的对抗，指的是生成网络和判别网络的互相对抗。生成网络尽可能生成逼真样本，判别网络则尽可能去判别该样本是真实样本，还是生成的假样本。示意图如下：

隐变量 z （通常为服从高斯分布的随机噪声）通过 Generator 生成 Xfake, 判别器负责判别输入的 data 是生成的样本 Xfake 还是真实样本 Xreal。优化的目标函数如下：
对于判别器 D 来说，这是一个二分类问题，V(D,G) 为二分类问题中常见的交叉熵损失。对于生成器 G 来说，为了尽可能欺骗 D，所以需要最大化生成样本的判别概率 D(G(z))，即最小化 log(1-D(G(z)))，注意：log(D(x)) 一项与生成器 G 无关，所以可以忽略。
实际训练时，生成器和判别器采取交替训练，即先训练 D，然后训练 G，不断往复。值得注意的是，对于生成器，其最小化的是
，即最小化 V(D,G) 的最大值。
为了保证 V(D,G) 取得最大值，所以我们通常会训练迭代k次判别器，然后再迭代1次生成器（不过在实践当中发现，k 通常取 1 即可）。当生成器 G 固定时，我们可以对 V(D,G) 求导，求出最优判别器 D*(x)：