AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

在图像采集过程中，常常会引入各种形式的退化，包括噪声、雾霾和雨水等，这些退化通常由相机固有限制或不利的环境条件引起。为了从退化版本中恢复清晰的图像，已经开发了许多专门的恢复方法，每种方法针对一种特定的退化类型。最近，全能算法因为能够在单个模型中处理不同类型的退化而受到了广泛关注，而不需要先前了解输入的退化类型。然而，这些方法仅在空间域中运行，没有深入研究不同退化类型固有的不同频率变化。为了解决这一问题，我们提出了一种基于频率挖掘和调制的自适应全能图像恢复网络。我们的方法受到这样一个观察的启发，即不同的退化类型影响图像内容的不同频率子带，因此需要为每个恢复任务提供不同的处理方法。具体而言，我们首先从输入特征中挖掘低频和高频信息，由退化图像的自适应解耦谱引导。然后，通过双向运算符调制提取的特征，以促进不同频率分量之间的交互。最后，将调制后的特征合并到原始输入中，进行渐进式引导恢复。通过这种方法，模型通过突出不同输入退化的信息频率子带实现自适应重建。广泛的实验表明，所提出的方法在不同的图像恢复任务上实现了最先进的性能，包括去噪、去雾、去雨、运动去模糊和低光图像增强。我们的代码可在https://github.com/c-yn/AdaIR上获取。

提出了一种自适应的全方位图像恢复网络，旨在解决图像恢复过程中由于噪声、雾霾、雨等因素引起的图像退化问题。

通过频率挖掘和调制的方式，提取不同频率子带中的低、高频信息，再通过双向操作符进行调制，最终将调制后的特征与原始输入合并，实现自适应的图像恢复。

实验结果表明该方法在不同的图像恢复任务中均取得了最先进的性能，包括去噪、去雾、去雨、运动去模糊和低光图像增强。研究者提供了开源代码。

相关研究包括专门针对不同类型退化的恢复方法和全方位恢复方法，前者包括基于深度学习的去噪、去雾、去雨等方法，后者包括基于深度学习的全方位恢复方法和端到端的方法。