深度学习助力数据压缩，一文读懂相关理论(3)

1. GAN 在有损压缩中的应用
论文标题：Deep generative models for distribution preserving lossy compression，NIPS2018
地址：https://arxiv.org/abs/1805.11057?context=stat
这篇文章提出了一种分布保持的有损压缩系统（Distribution-Preserving Lossy Compression，DPLC）。该系统应用于图像压缩场景，在不同的压缩比率下编码器能够生成与原始数据分布一致的编码，其解码器则以零比特率生成独立同分布样本，然后随着比特率的增加逐渐产生包含更多原始图像内容的重构，最终在足够高的比特率情况下实现完美的重建。
对于随机变量 X，令 P_X 表示 X 的分布，E_X[X] 表示期望。W~P_X 表示 W 遵从 P_X 的分布，X~Y 表示 X 和 Y 为同分布的。在标准的有损压缩系统中，编码器的任务是生成编码 E: X→W，从而将原始输入编码为 R 比特的码，解码器的任务是将码映射回原始空间 D: W→X，同时最小化某些失真度量 d:XxX，任务目标函数表示为：

在传统压缩方法中，E 和 D 具有典型确定性，因此不同的重构输入的数量 X^：=D(E(x)) 由 2^R 限定，这就导致重建的 X^会出现降质的问题，例如引起图像的模糊、模块化等。为了解决这一问题，需要向目标函数中增加一个约束项，即「重构实例的分布遵循训练数据的分布」：