深度学习助力数据压缩，一文读懂相关理论(8)

由于 D_KL>=0，通过联合优化证据下限（Evidence Lower Bound，ELBO）和 log p_θ(x) 的下限，可以得到推理模型和生成模型如下：

编码端的处理流程如下：
发送者发送一个使用先验 p(z) 和 x 进行编码得到的潜在样本 z~q_θ(z|x)，使用 p_θ(x|z) 进行编码；使用 q_θ(z|x) 从比特流中解码得到 z，之后从比特流中减去-log q_θ(z|x) 长度的比特位；使用 p_θ(x|z) 对 x 进行编码，向比特流中增加-log p_θ(x|z) 长度的比特位；使用 p(z) 对 x 进行编码，向比特流中增加-log p_(z) 长度的比特位；最终得到了一个长度为 N_total:=N_init log q_θ(z|x)-log p_θ(x|z)-log p_(z) 比特位的比特流，并发送给接收端。
接收端通过将 ANS 初始化为接收到的比特流来解码数据，然后以相反的顺序进行，并交换编码和解码操作。
当模型具有许多潜在变量时，在传递初始比特流 N_init 时就会带来效率问题（这也是深度学习大量参数所带来的问题）。为解决这一问题，本文使用层次潜在变量模型，即具有多个潜在变量且其采样过程服从形式的马尔可夫链的 VAE，如图 4：

图 4. 层次潜在变量模型。
此时近似边缘分布 p_θ(x) 为：