Accelerating Relative Entropy Coding with Space Partitioning

这篇文章介绍了相对熵编码（Relative entropy coding，REC）算法，该算法使用一个编码分布$P$，将一个符合目标分布$Q$的随机样本进行编码，并由发送方和接收方共享。然而，通常的REC算法编码时间过长，至少为$2^{D_{\text{KL}}[Q||P]}$，而更快的算法仅适用于特定的情况。本文通过引入空间分割来降低实际场景下的运行时间，解决了这个问题。我们对该方法进行了理论分析，并通过玩具示例和实际应用证明了其有效性。值得注意的是，我们的方法成功地处理了$D_{\text{KL}}[Q||P]$大约是之前方法所能处理的三倍的REC任务，并且相对于以前的方法，在MNIST上基于VAE的无损压缩和在CIFAR-10上基于INR的有损压缩中，比特率降低了约5-15％，显著提高了REC对神经压缩的实用性。

本论文旨在解决相对熵编码算法在实际应用中计算时间过长的问题，提出了一种利用空间分割来减少运行时间的相对熵编码方案。

本文提出的相对熵编码方案利用空间分割来减少运行时间，能够处理比之前方法高3倍的KL散度，并在MNIST和CIFAR-10数据集上相对于之前的方法降低了5-15%的比特率。

本文在toy examples和实际应用中进行了实验验证，提出的相对熵编码方案能够处理比之前方法高3倍的KL散度，并在MNIST和CIFAR-10数据集上相对于之前的方法降低了5-15%的比特率。

最近在这个领域中，还有一些相关研究，如：《Neural Discrete Representation Learning》、《Variational Inference with Normalizing Flows》等。