- 简介高光谱图像(HSI)恢复是计算成像与计算机视觉领域的一项基础性挑战,涉及诸如补全和超分辨率等病态逆问题。尽管深度学习方法通过数据驱动的学习方式彻底改变了这一领域,但其有效性依赖于精心构建的真实标签数据集。这从根本上限制了它们在缺乏此类数据的实际场景中的应用。本文提出SHARE(基于等变性的单幅高光谱图像恢复),这是一种完全无监督的框架,将几何等变性原理与低秩光谱建模相结合,从而摆脱对真实标签数据的依赖。SHARE的核心思想是:利用高光谱结构在可微几何变换(如旋转和缩放)下的内在不变性,通过等变一致性约束生成自监督信号。我们提出的新型动态自适应光谱注意力(DASA)模块进一步推动了这一范式转变:该模块显式地编码了高光谱图像的全局低秩特性,并通过可学习的注意力机制自适应地优化局部光谱-空间相关性。在高光谱图像补全和超分辨率任务上的大量实验验证了SHARE的有效性。我们的方法优于众多先进的无监督方法,并达到了与有监督方法相媲美的性能。我们希望本方法能为高光谱图像恢复以及更广泛的科学成像场景带来新的启示。代码将发布于 https://github.com/xuwayyy/SHARE。
-
- 图表
- 解决问题论文旨在解决高光谱图像(HSI)修复中的无监督学习问题,特别是针对去马赛克、超分辨率等逆问题。传统深度学习方法依赖大量精心标注的真实数据(ground truth),但在实际场景中这类数据难以获取,限制了模型的广泛应用。该问题在真实应用中具有高度现实意义,虽已有部分无监督研究,但如何有效利用HSI内在结构实现高质量修复仍是一个开放挑战。
- 关键思路提出SHARE框架,首次将几何等变性原理与低秩光谱建模结合,实现完全无监督的HSI修复。核心思想是利用HSI在可微几何变换(如旋转、缩放)下的结构不变性,通过等变一致性约束生成自监督信号。相比现有方法,无需任何真实标签,且引入物理先验提升泛化能力,是一种范式上的创新。
- 其它亮点设计了动态自适应光谱注意力(DASA)模块,显式建模HSI的全局低秩特性并自适应优化局部空-谱相关性;在多个HSI修复任务(如inpainting和super-resolution)上验证有效性,性能超越多数无监督方法,并接近有监督方法水平;实验涵盖主流数据集(如CAVE、Harvard、KAIST),具备可复现性;代码已开源(https://github.com/xuwayyy/SHARE),推动社区发展;未来可拓展至多模态科学成像与遥感领域。
- 1. Unsupervised Hyperspectral Image Super-Resolution via Subspace-Based Mixture Models 2. Self-Supervised Learning for Deep Hyperspectral Image Restoration 3. Hyperspectral Image Restoration Using Deep Spatial-Spectral Attention Networks with Degradation Estimation 4. Noise2Noise: Learning Image Restoration without Clean Data 5. Equivariant Neural Networks for Image Reconstruction: A Survey
NEW
提问交流
提交问题,平台邀请作者,轻松获得权威解答~
向作者提问

提问交流