深度学习助力数据压缩，一文读懂相关理论(4)

增加这一约束项相当于学习了 R=0 时一般未知分布 P_X 的精确生成模型，考虑到生成模型，自然地我们就想到了引入 GAN。为了减少上式的松弛对平均值问题的偏差，将 D 分解为 D=G o B，其中 G 为生成模型（从固定的先验分布 P_Z 中提取样本作为输入，训练以最小化 P_G(Z) 和 P_X 之间的差异），B 为随机函数（与原目标函数 E 一起训练以最小化固定值 G 的失真）。瓦瑟斯坦距离（Wasserstein Distance）可以被定义为任意的运输成本函数，因此适用于本文对于量化重建质量的失真度量 D。对于随机变量 X 和 Y，Wasserstein 距离为：

其中 P(P_X，P_Y) 是 (X,Y) 的所有联合分布的集合。令 (X,d』) 表示一个度量空间，我们设置 c(x,y)=d』(x,y) 时，通过 Kantorovich-Rubinstein 对偶得到:

其中 F1 是有界 1-Lipschitz 函数的一类 f:X->R。本文使用的生成模型 G 通过最小化 P_X 和 P_G(Z) 之间的 Wasserstein 距离来学习，学习的方法有两种（i）通过 Wasserstein 自动编码器（Wasserstein Autoencoder，WAE），其中 G o F 参数化 P_X 和 P_G(Z) 之间的耦合，或者（ii）通过 Wasserstein GAN（WGAN）。本文提出 Wasserstein ，将 WAE 和 WGAN 结合起来。将经过训练的生成模型 G 与利用速率约束编码器 E 和随机函数 B 来实现本文提出的 DPLC 系统，从而在保证 P_X 和 P_X^在所有速率下都相似的同时，将 X 和 X^之间的失真减至最小。