NIR-Assisted Image Denoising: A Selective Fusion Approach and A Real-World Benchmark Datase

尽管在图像去噪方面取得了显著进展，但在极低光环境下，仍然难以在去噪的同时恢复细节。利用近红外（NIR）图像来辅助可见RGB图像去噪显示出解决这个问题的潜力，成为一种有前途的技术。然而，由于NIR-RGB图像之间的内容不一致以及现实世界中配对数据集的稀缺性，现有的方法仍然难以有效地利用NIR信息进行真实世界的图像去噪。为了缓解这个问题，我们提出了一个高效的选择性融合模块（SFM），可以插入先进的去噪网络中，以合并深度NIR-RGB特征。具体而言，我们依次对NIR和RGB特征执行全局和局部调制，然后集成两个调制特征。此外，我们提出了一个真实世界NIR辅助图像去噪（Real-NAID）数据集，涵盖了各种场景以及不同的噪声水平。对合成和我们的真实世界数据集进行的广泛实验表明，所提出的方法比现有最先进的方法实现了更好的结果。

本论文旨在解决在极低光环境下，去噪时难以恢复细节的问题，尤其是如何有效地利用近红外图像来协助可见RGB图像去噪的问题，以及缺乏真实世界配对数据集的问题。

论文提出了一种高效的选择性融合模块（SFM），可以插入到先进的去噪网络中，以合并深度近红外-可见RGB特征。该模块通过对近红外和RGB特征进行全局和局部调节，然后集成两个调节特征来实现。

论文提出了一个真实世界的NIR辅助图像去噪（Real-NAID）数据集，涵盖了各种场景和不同噪声水平。实验结果表明，与现有的方法相比，该方法在合成和真实世界数据集上均取得了更好的结果。

最近的相关研究包括：《Deep Learning for Image Denoising: A Survey》、《Learning to See in the Dark》、《Noise2Noise: Learning Image Restoration without Clean Data》等。