Correcting Diffusion-Based Perceptual Image Compression with Privileged End-to-End Decoder

扩散模型产生的图像可以获得出色的感知质量。然而，对于扩散模型来说，保证失真是具有挑战性的，因此扩散模型与图像压缩模型的集成仍需要更全面的探索。本文提出了一种基于扩散的图像压缩方法，采用特权的端到端解码器模型作为修正，从而在保证失真的同时实现更好的感知质量。我们构建了一个扩散模型，并设计了一种新的范例，将扩散模型和端到端解码器相结合，后者负责在编码器侧传输提取的特权信息。具体而言，我们在原始图像可见的情况下，对扩散模型的重建过程进行了理论分析。基于这一分析，我们引入了一个端到端卷积解码器，以更好地近似编码器侧的得分函数$\nabla_{\mathbf{x}_t}\log p(\mathbf{x}_t)$，并有效地传输组合。实验表明，与之前的感知压缩方法相比，我们的方法在失真和感知方面都具有优越性。

本论文旨在解决扩散模型在图像压缩方面难以保证失真的问题，提出了一种基于扩散模型和端到端解码器的图像压缩方法，旨在实现更好的感知质量和一定程度上的失真保证。

论文提出了一种将扩散模型和端到端解码器相结合的新方法，利用解码器在编码器端提取的特权信息来更好地逼近得分函数，实现更好的图像压缩效果。

论文通过理论分析扩散模型在编码器端的重构过程，提出了端到端卷积解码器来更好地逼近得分函数。实验结果表明，该方法在失真和感知质量方面均优于先前的感知压缩方法。

最近的相关研究包括“End-to-End Optimized Image Compression via Learnable Compression BPG”和“Learning Convolutional Networks for Content-weighted Image Compression”等。