万字综述之生成对抗网络（GAN）(3)

把最优判别器代入上述目标函数，可以进一步求出在最优判别器下，生成器的目标函数等价于优化 Pdata(x) , Pg(x) 的 JS 散度（JSD, Jenson Shannon Divergence）。
可以证明，当 G，D 二者的 capacity 足够时，模型会收敛，二者将达到纳什均衡。此时，Pdata(x)=Pg(x)，判别器不论是对于 Pdata(x) 还是 Pg(x) 中采样的样本，其预测概率均为 1/2，即生成样本与真实样本达到了难以区分的地步。
目标函数
前面我们提到了 GAN 的目标函数是最小化两个分布的 JS 散度。实际上，衡量两个分布距离的方式有很多种，JS 散度只是其中一种。如果我们定义不同的距离度量方式，就可以得到不同的目标函数。许多对 GAN 训练稳定性的改进，比如 EBGAN，LSGAN 等都是定义了不同的分布之间距离度量方式。
f-divergence
f-divergence 使用下面公式来定义两个分布之间的距离：

上述公式中 f 为凸函数，且 f(1)=0 。采用不同的 f 函数（Generator），可以得到不同的优化目标。具体如下：

值得注意的是，散度这种度量方式不具备对称性，即 Df(Pdata||Pg) 和 Df(Pg||Pdata) 不相等。