深度学习助力数据压缩，一文读懂相关理论(10)

在本文提出的 Bit-Swap 模型中，生成模型和推理模型的采样过程都服从随机变量之间的马尔可夫链依赖关系。与标准 VAE 的处理类似，数据 x 是根据潜在变量 z_1 生成的。然而，z_1 不再是固定的先验值，而是由第二个潜在变量 z_2 生成的。类似的，z_2 也不是固定先验值，而是由第三个潜在变量 z_3 生成的，依此类推。这些嵌套依赖项使我们能够递归地应用 bits back 参数。我们可以对第一个潜在变量应用 bits back 参数的前两个步骤：首先解码 z_1，然后直接编码 x，这将向比特流中添加新的比特位，z_2,L 的进一步解码操作将需要较少的初始比特来继续。以类似的方式递归地应用第二个潜在变量 z_2 的 bits back 参数：首先解码 z_2，然后编码 z_1。Bit-Swap 所需的初始位的数量上限为：

本文提出的 Bit-Swap 数据压缩算法完整的算法如下：

以三个隐藏层为例，Bit-Swap 的过程如图 5 所示。