Approximately Invertible Neural Network for Learned Image Compression

2024年08月30日
  • 简介
    近年来,学习图像压缩引起了相当大的关注。它通常包括一个分析变换、一个合成变换、量化和熵编码模型。分析变换和合成变换用于将图像编码为潜在特征并解码量化特征以重构图像,并可视为耦合变换。然而,现有方法中的分析变换和合成变换是独立设计的,使它们在高质量图像压缩中不可靠。受生成建模中可逆神经网络的启发,本文使用可逆模块构建耦合的分析和合成变换。考虑到特征量化引入的噪声使可逆过程失效,本文提出了一种基于近似可逆神经网络(A-INN)框架的学习图像压缩方法。它在使用INN进行量化时制定了失真压缩的速率-失真优化,区别于使用INN进行生成建模。一般而言,A-INN可以作为任何基于INN的失真压缩方法的理论基础。基于这个公式,开发了带有渐进去噪模块(PDM)的A-INN,以有效地减少解码中的量化噪声。此外,设计了级联特征恢复模块(CFRM),以从低维特征中学习高维特征恢复,进一步减少特征通道压缩中的噪声。此外,开发了一个频率增强分解和合成模块(FDSM),通过显式增强图像中的高频分量来解决神经网络图像压缩中固有的高频信息丢失问题。广泛的实验表明,所提出的A-INN优于现有的学习图像压缩方法。
  • 图表
  • 解决问题
    本文旨在解决学习图像压缩中分析变换和合成变换设计独立的问题,提出了一种使用可逆神经网络的近似可逆神经网络框架,以解决量化噪声对可逆性的影响。
  • 关键思路
    本文提出了一种新的框架A-INN,使用可逆神经网络来构建分析变换和合成变换,以解决学习图像压缩中分析变换和合成变换设计独立的问题,同时通过渐进去噪模块、级联特征恢复模块和频率增强分解和合成模块等技术,有效减少了量化噪声和高频信息丢失的问题。
  • 其它亮点
    本文的实验结果表明,A-INN框架在学习图像压缩任务中表现优异,比现有的学习图像压缩方法表现更好。本文使用了多个数据集进行实验,同时开源了代码。值得继续深入研究的是,如何在更广泛的应用场景下使用A-INN框架。
  • 相关研究
    最近在这个领域中,还有一些相关的研究,如《End-to-End Optimized Image Compression》、《Variational Image Compression with a Scale Hyperprior》等。
许愿开讲
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论