深度学习助力数据压缩，一文读懂相关理论(5)

完整的 DPLC 见图 1。

图 1. DPLC 总体结构。
压缩过程为了从原始数据中学习 G、B 和 E，将每个分量参数化为深度神经网络，并通过随机梯度下降（SGD）求解相应的优化问题。如前所述，G*可以通过 WGAN 或 WAE 学习。由于 WAE 框架自然的包含了一个编码器，它能保证潜在空间 Z 的结构易于编码，而使用 WGAN 则不具有这样的特性。在本文的实验中，我们观察到使用 WAE 的图像中边缘的锐化程度弱于 WGAN。另一方面，由于 WAE 目标由于重建误差项而严重惩罚了模式丢失，因此 WAE 比 WGAN 更不容易发生模式丢失。为了结合这两种方法的优点，我们通过 Wd 的凸组合，提出了 Wd 的原形式和对偶形式的新的优化组合：

基于 G(Z) 或 G(F(X) 的伪样本训练 f，由于 F(X) 和 P_Z 之间的不匹配（在优化过程开始时更为明显），这些样本一般不会遵循相同的分布。因此需要做下面的调整：
基于 G(Z.~) 的样本训练 f，其中 Z.~=UZ (1-U)F(X)，U~Uniform(0,1)。基于 F(X) 中的样本训练 G，计算 WGAN 和 WAE 的损失项。
本文在两个标准的生成性建模基准图像数据集上完成实验，CelebA 和 LSUN 卧室，其中图像都缩小到 64x64 分辨率。图 2 给出了不同方法的测试 MSE（越小越好）、重建 FID（越小越好）和条件像素方差 PV（越大越好）。CelebA 的结果显示在最上面一行，LSUN 卧室的结果显示在最下面一行。本文提出的 DPLC 模型的 PV 随着速率的降低而稳定地增加，也就是说，它们生成的有效图像内容逐渐多于 GC。