Once-for-All: Controllable Generative Image Compression with Dynamic Granularity Adaption

虽然最近的生成式图像压缩方法在优化速率-失真-感知平衡方面展示了令人印象深刻的潜力，但它们仍然面临着灵活适应不同压缩需求和场景的关键挑战。为了克服这一挑战，本文提出了一种可控的生成式图像压缩框架 Control-GIC，它是第一个能够在广泛的频谱范围内进行精细比特率调整，同时确保高保真度和通用性压缩的框架。我们将 Control-GIC 基于 VQGAN 框架，将图像表示为可变长度码（即 VQ 索引）序列，这些码可以无损压缩，并且与比特率呈直接正相关。因此，我们从经典编码原理中汲取灵感，自然地将局部图像块的信息密度与它们的粒度表示相关联，以实现根据不同粒度决策动态调整码数量的目的。这意味着我们可以灵活确定适当的粒度分配，以获得理想的压缩率。我们进一步开发了一个概率条件解码器，可以根据传输的码追溯历史编码的多粒度表示，然后在条件概率的形式化中重构分层粒度特征，从而实现更具信息量的聚合以提高重构的真实性。我们的实验表明，Control-GIC 允许高度灵活和可控的比特率调整，甚至可以对整个数据集进行一次压缩，以满足约束的比特率条件。实验结果表明，它比最近的最先进方法表现更优。

本论文旨在解决灵活适应不同压缩需求和场景的灵活比特率调整问题，并提出了一种可控的生成图像压缩框架。

论文的关键思路是基于VQGAN框架，将图像表示为可变长度编码序列，并将局部图像块的信息密度与它们的粒度表示相关联，以实现动态调整代码数量，从而获得所需的压缩率。

该框架具有高度灵活性和可控性，能够实现高保真度和通用性压缩，还开发了一种概率条件解码器，能够根据传输的代码追溯历史编码的多粒度表示，并在条件概率的形式化中重构分层粒度特征，从而提高重构逼真度。

最近的相关研究包括基于深度学习的图像压缩方法，如End-to-End Optimized Image Compression、Variational Autoencoder-based Image Compression等。