深度学习助力数据压缩，一文读懂相关理论(6)

图 2. 不同方法的实验结果。
2. VAE 在无损压缩中的应用：
论文标题：Bit-Swap: Recursive Bits-Back Coding for Lossless Compression with Hierarchical Latent Variables， ICML2019
地址：https://arxiv.org/abs/1905.06845
这篇文章探讨了 Variational Auto-Encoding (VAE) 在压缩技术中的应用，提出了一种 Bit-Swap 无损压缩方法。根据经典的统计理论数据压缩，任何数据分布都可以转换成一种无损编码，在这种编码中，每个数据点都被编码成一个与模型分配的负对数概率相等的比特数。当模型与真实的数据分布相匹配时，可以获得最佳的预期码长。因此，基于概率似然性设计的无损压缩算法需要解决两个问题：一是利用模型逼近真实数据分布，二是找到实用的压缩算法满足与此模型兼容的条件并保证码长为-log p_θ(x)。本文引入 VAE，对原始概率分布进行多层分解，利用潜在变量模型计算原始数据的近似边缘分布，与经典 ANS 压缩技术相结合，实现快速的压缩和解压缩。
给定离散原始数据 x = (x1,..., xD)，其分布表示为 p_data，基于概率似然性设计的 ANS 无损压缩机制为：使用概率 p_θ(x)，当其码长满足-log p_θ(x)=-log p_data(x) 时，得到的平均码长 E[-log p_θ(x)] 接近数据 H(x) 的熵，即得到最优压缩方案的平均码长。ANS 使用一元概率分布或完全分解概率分布 p(x) 来编码原始符号向量 x，从而产生-log p(x) 比特位。ANS 算法的状态是具有堆栈结构的比特流：每次编码符号时，其比特位都被推到堆栈的最右侧；每次解码符号时，比特位都从堆栈的最右侧弹出。图 3 给出 ANS 的工作机制。