万字综述之生成对抗网络（GAN）(12)

Mini-batch Discrimination
Mini-batch discrimination 在判别器的中间层建立一个 mini-batch layer 用于计算基于 L1 距离的样本统计量，通过建立该统计量去判别一个 batch 内某个样本与其他样本有多接近。这个信息可以被判别器利用到，从而甄别出哪些缺乏多样性的样本。对生成器而言，则要试图生成具有多样性的样本。
关于GAN隐空间的理解
隐空间是数据的一种压缩表示的空间。通常来说，我们直接在数据空间对图像进行修改是不现实的，因为图像属性位于高维空间中的流形中。但是在隐空间，由于每一个隐变量代表了某个具体的属性，所以这是可行的。
在这部分，我们会探讨 GAN 是如何处理隐空间及其属性的，此外还将探讨变分方法如何结合到 GAN 的框架中。
隐空间分解
GAN 的输入隐变量 z 是非结构化的，我们不知道隐变量中的每一位数分别控制着什么属性。因此有学者提出，将隐变量分解为一个条件变量 c 和标准输入隐变量 z 。具体包括有监督的方法和无监督的方法。
有监督方法
典型的有监督方法有 CGAN 和 ACGAN。
CGAN 将随机噪声 z 和类别标签 c 作为生成器的输入，判别器则将生成的样本/真实样本与类别标签作为输入。以此学习标签和图片之间的关联性。
ACGAN 将随机噪声 z 和类别标签 c 作为生成器的输入，判别器则将生成的样本/真实样本输入，且回归出图片的类别标签。以此学习标签和图片之间的关联性。二者结构如下（左边为 CGAN，右边为 ACGAN）：

无监督方法
相比于有监督方法，无监督方法不使用任何标签信息。因此，无监督方法需要对隐空间进行解耦得到有意义的特征表示。
InfoGAN 对把输入噪声分解为隐变量 z 和条件变量 c （训练时，条件变量 c 从均匀分布采样而来），二者被一起送入生成器。在训练过程中通过最大化 c 和 G(z,c) 的互信息 I(c;G(z,c)) 以实现变量解耦（I(c;G(z,c)) 的互信息表示 c 里面关于 G(z,c) 的信息有多少，如果最大化互信息 I(c;G(z,c)) ，也就是最大化生成结果和条件变量 c 的关联性）。