NightHaze: Nighttime Image Dehazing via Self-Prior Learning

本文将掩码自编码器（MAE）的框架应用到夜间图像增强中，表明在训练过程中进行严格的数据扩充可以产生强大的网络先验，对真实世界的夜间雾霾降解具有韧性。我们提出了一种新颖的夜间图像去雾方法，使用自学习先验进行处理。我们的主要创新在于设计了强大的数据扩充，使得模型可以学习到鲁棒的先验。与使用掩蔽的MAE不同的是，我们利用了夜间图像中的两个关键挑战因素作为扩充：光效和噪声。在训练过程中，我们故意通过混合光效和添加噪声来降低清晰图像的质量，然后再恢复清晰的图像。这使得我们的模型可以学习到清晰的背景先验。通过增加噪声值以接近光晕和光效混合图像的像素强度值，我们的数据扩充变得更加严格，从而产生了更强的先验。虽然我们的自学习先验在抑制光晕和揭示背景场景细节方面非常有效，但在某些情况下，仍然存在一些不良的伪影，尤其是过度抑制的形式。为了解决这些伪影，我们提出了一种基于半监督师生框架的自我细化模块。我们的NightHaze，特别是类似MAE的自学习先验，表明使用严格的数据扩充训练的模型可以有效地提高输入雾霾图像的可见度，接近清晰的夜间图像的清晰度。广泛的实验表明，我们的NightHaze实现了最先进的性能，对于MUSIQ和ClipIQA，超过现有的夜间图像去雾方法的性能提升分别达到了15.5％和23.5％。

本文旨在通过夜间图像增强，提高夜间图像的清晰度和可见度，解决夜间图像处理中的雾霾问题。

通过类似于MAE的框架，使用严格的数据增强方法，训练具有鲁棒性的神经网络模型，提高夜间图像的清晰度和可见度。采用两种关键的数据增强方式，即光效和噪声，通过自学习的方法提高模型的鲁棒性。

本文提出了一种基于自学习的夜间图像去雾方法NightHaze，使用严格的数据增强方法训练模型，实现了对夜间图像的有效增强。NightHaze在MUSIQ和ClipIQA数据集上的表现优于现有的夜间图像去雾方法，取得了最新的最佳表现。

近期在夜间图像增强领域的相关研究包括："Single-Image Nighttime Dehazing Using a Generative Adversarial Network"，"Dynamic Illumination Adaptation for Nighttime Pedestrian Detection with Visible and Thermal Cameras"等。