Sensitivity Decouple Learning for Image Compression Artifacts Reduction

2024年05月15日
  • 简介
    最近的研究利用深度学习技术,在图像压缩伪影降低方面取得了显著的进展。尽管它们的性能有所提高,但是现有的方法只关注从压缩图像到原始图像的映射学习,而忽略了给定压缩图像的内在属性,这极大地损害了下游解析任务的性能。与这些方法不同,我们提出将内在属性分解为两个互补的特征进行伪影降低,即对于高级语义表示进行规范化的压缩不敏感特征和感知压缩程度的压缩敏感特征。为了实现这一点,我们首先使用对抗训练来规范压缩和原始编码特征以保留高级语义,然后开发压缩质量感知特征编码器来感知压缩敏感特征。基于这些双重互补特征,我们提出了一种双重感知引导网络(DAGN),在解码阶段利用这些感知特征作为变换引导。在我们提出的DAGN中,我们开发了一个交叉特征融合模块,通过将压缩不敏感特征融合到伪影降低基线中,以维护压缩不敏感特征的一致性。我们的方法在BSD500上实现了平均2.06 dB的PSNR增益,优于现有最先进的方法,并且只需要29.7毫秒处理一张图像。此外,LIVE1和LIU4K上的实验结果也证明了所提出方法在定量指标、视觉质量和下游机器视觉任务方面的效率、有效性和优越性。
  • 图表
  • 解决问题
    本论文旨在解决图像压缩伪影降低的问题,同时考虑压缩图像的内在属性对于下游视觉任务的影响。
  • 关键思路
    本文提出了一种基于对抗训练和双重感知特征的压缩伪影降低方法,将压缩图像的内在属性分解为两个互补的特征,分别用于保留高级语义信息和感知压缩程度,然后在解码阶段利用这些特征作为变换引导。
  • 其它亮点
    本文提出的方法在BSD500数据集上实现了平均2.06 dB的PSNR增益,且仅需要29.7毫秒处理一个图像。此外,实验结果还表明该方法在定量指标、视觉质量和下游机器视觉任务方面的有效性和优越性。
  • 相关研究
    相关研究包括但不限于:1. Learning to See Through Adversarial Examples; 2. Dual Adversarial Network for Unsupervised Image-to-Image Translation; 3. Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images.
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论