PixMamba: Leveraging State Space Models in a Dual-Level Architecture for Underwater Image Enhancement

2024年06月12日
  • 简介
    水下图像增强(UIE)对于海洋研究和探索至关重要,但受到复杂的色彩失真和严重的模糊的影响。最近基于深度学习的方法取得了显着的结果,但这些方法在计算成本高和全局建模不足方面存在困难,导致局部区域欠调或过调。我们提出了PixMamba,一种新颖的架构,旨在通过利用状态空间模型(SSMs)进行有效的全局依赖建模来克服这些挑战。与具有有限感受野的卷积神经网络(CNNs)和计算成本高的变换器网络不同,PixMamba在保持计算效率的同时有效地捕获全局上下文信息。我们的双层策略采用基于补丁的高效曼巴网络(EMNet)来重建增强图像特征,采用基于像素的PixMamba网络(PixNet)来确保难以获得的细粒度特征捕获和增强图像的全局一致性。PixMamba在各种水下图像数据集上实现了最先进的性能,并提供了视觉上优越的结果。代码可在以下网址获得:https://github.com/weitunglin/pixmamba。
  • 作者讲解
  • 图表
  • 解决问题
    PixMamba论文的问题是如何提高水下图像增强的效果,解决了当前深度学习方法计算成本高、局部调整不足的问题。
  • 关键思路
    PixMamba使用状态空间模型(SSMs)进行全局依赖建模,提高了全局上下文信息的获取效率,同时保持了计算效率。其双层策略包括基于块的Efficient Mamba Net (EMNet)和基于像素的PixMamba Net (PixNet),提高了细粒度特征捕获和全局一致性。
  • 其它亮点
    该论文在多个水下图像数据集上取得了最先进的表现,并提供了开源代码。值得注意的是,PixMamba采用了状态空间模型进行全局依赖建模,这是该领域的一项新的技术。
  • 相关研究
    最近在这个领域中,还有一些相关的研究,如:Underwater Image Enhancement using an Integrated Color Model and Convolutional Neural Networks, Underwater image enhancement using a hybrid approach based on Retinex and convolutional neural network,等等。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问