Towards Extreme Image Compression with Latent Feature Guidance and Diffusion Prior

在极低比特率（低于0.1 bpp）下对图像进行压缩是一个重大挑战，因为会导致大量信息丢失。现有的极端图像压缩方法通常存在严重的压缩伪影或低保真度的重建。为了解决这个问题，我们提出了一种新颖的极端图像压缩框架，将压缩VAEs和预训练的文本到图像扩散模型以端到端的方式结合起来。具体来说，我们引入了一个基于压缩VAEs的潜在特征引导压缩模块。该模块压缩图像并最初将压缩信息解码为内容变量。为了增强内容变量和扩散空间之间的对齐，我们引入外部引导来调节中间特征映射。随后，我们开发了一个条件扩散解码模块，利用预训练的扩散模型进一步解码这些内容变量。为了保留预训练扩散模型的生成能力，我们保持它们的参数固定，并使用控制模块注入内容信息。我们还设计了一个空间对齐损失来为潜在特征引导压缩模块提供足够的约束。大量实验证明，我们的方法在极低比特率下的视觉表现和图像保真度方面优于现有的最先进方法。

论文旨在解决极低比特率下图像压缩中存在的信息严重丢失问题，提出一种新颖的极端图像压缩框架。

论文提出了一个端到端的压缩框架，将压缩型VAE和预训练的文本到图像扩散模型相结合。通过外部引导调节中间特征图以增强内容变量与扩散空间的对齐，并使用控制模块注入内容信息来保持预训练扩散模型的生成能力。

论文的实验结果表明，该方法在极低比特率下的视觉性能和图像保真度方面优于现有的方法。论文使用的数据集和开源代码没有具体提及。值得进一步研究的工作包括对不同类型图像数据集的适用性进行探究，以及进一步提高压缩质量。

在最近的相关研究中，还有一些关于图像压缩的工作，如《End-to-End Optimized Image Compression》和《Learning Image Compression with Hierarchical Quality and Recurrent Enhancement》。