LDM-RSIC: Exploring Distortion Prior with Latent Diffusion Models for Remote Sensing Image Compression

2024年06月06日
  • 简介
    深度学习图像压缩算法通常侧重于设计编码和解码网络,提高熵模型估计的准确性以增强速率失真(RD)性能。然而,很少有算法利用现有压缩算法的压缩失真先验知识来提高RD性能。本文提出了一种基于潜在扩散模型的遥感图像压缩(LDM-RSIC)方法,旨在通过利用LDM生成的失真先验知识来增强RS图像的最终解码质量。我们的方法分为两个阶段。第一阶段,自编码器从高质量输入图像中学习先验知识。在第二阶段中,先验知识通过LDM生成,以现有的基于学习的图像压缩算法的解码图像为条件,用作生成纹理丰富的增强图像的辅助信息。为了更好地利用先验知识,将通道注意力和门控动态特征注意力模块(DFAM)嵌入基于Transformer的多尺度增强网络(MEN)中进行图像增强。广泛的实验表明,所提出的LDM-RSIC在主观感知和客观指标方面显著优于现有的传统和基于学习的图像压缩算法。此外,我们使用基于LDM的方案改进传统的图像压缩算法JPEG2000,并在DOTA测试集上获得32.00%的比特节省。代码将在 https://github.com/mlkk518/LDM-RSIC 上提供。
  • 作者讲解
  • 图表
  • 解决问题
    提出一种基于潜在扩散模型的遥感图像压缩方法,利用生成的失真先验信息来提高解码质量。
  • 关键思路
    通过在现有学习型图像压缩算法的解码图像上生成潜在扩散模型的失真先验信息,作为辅助信息来生成纹理丰富的增强图像。同时,利用通道注意力和门控动态特征注意力模块来增强图像。
  • 其它亮点
    实验结果表明,所提出的方法在主观感知和客观指标方面均优于现有的传统和学习型图像压缩算法。此外,还使用了LDM方案来改进传统图像压缩算法JPEG2000,获得了32.00%的比特节省。
  • 相关研究
    相关研究包括深度学习图像压缩算法、JPEG2000的改进、遥感图像压缩等。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问