NIR-Assisted Image Denoising: A Selective Fusion Approach and A Real-World Benchmark Dataset

尽管图像去噪方面取得了显著进展，但在极低光环境下去噪时仍然难以恢复细节，尤其是要同时去除噪声和恢复细节。利用近红外（NIR）图像来辅助可见RGB图像去噪，显示出解决这一问题的潜力，成为一种有前途的技术。然而，由于NIR-RGB图像之间的内容不一致和现实世界中配对数据集的稀缺性，现有的方法仍然难以有效利用NIR信息进行实际图像去噪。为了缓解这个问题，我们提出了一种高效的选择性融合模块（SFM），可以插入先进的去噪网络中，以合并深度NIR-RGB特征。具体而言，我们依次对NIR和RGB特征进行全局和局部调制，然后将两个调制特征整合起来。此外，我们提出了一个真实世界的NIR辅助图像去噪（Real-NAID）数据集，涵盖了不同的场景和各种噪声水平。对合成和真实世界数据集的广泛实验表明，所提出的方法比现有的最先进方法更好。数据集、代码和预训练模型将在https://github.com/ronjonxu/NAID上公开。

论文旨在解决在极低光环境下，如何去除噪声并还原细节的问题，通过利用近红外图像辅助可见光RGB图像去噪，但由于现有数据集的不足和近红外与RGB图像内容的不一致，导致利用近红外信息进行实际图像去噪仍然存在困难。

论文提出了一种高效的选择性融合模块（SFM），将深度近红外-RGB特征融合到先进的去噪网络中。具体来说，论文顺序进行近红外和RGB特征的全局和局部调制，然后将两个调制特征集成。此外，论文还提出了一个真实世界的近红外辅助图像去噪（Real-NAID）数据集，包括各种场景和不同噪声水平。

论文在合成和真实数据集上进行了广泛的实验，证明了所提出的方法优于现有的最先进方法。论文提供了数据集、代码和预训练模型，并公开发布在https://github.com/ronjonxu/NAID。

最近的相关研究包括“Image Denoising Using Very Deep Fully Convolutional Encoder-Decoder Networks with Symmetric Skip Connections”和“Deep Residual Learning for Image Denoising”。