Exploring Richer and More Accurate Information via Frequency Selection for Image Restoration

图像修复旨在从其受损的对应物中恢复高质量图像。许多现有方法主要关注空间域，忽略频率变化的理解并忽略跳跃连接中隐含噪声的影响。本文介绍了一种多尺度频率选择网络（MSFSNet），它无缝地集成了空间和频率域知识，选择性地恢复更丰富和更准确的信息。具体而言，我们首先捕捉空间特征并将其输入到不同尺度的动态滤波器选择模块（DFS）中以集成频率知识。DFS利用可学习的滤波器生成高低频信息，并采用频率交叉关注机制（FCAM）确定要恢复的最多信息。为了学习多尺度和准确的混合特征集，我们开发了跳跃特征融合块（SFF），利用上下文特征来鉴别性地确定哪些信息应在跳跃连接中传播。值得注意的是，我们的DFS和SFF是通用的插件模块，可以直接应用于现有网络中而不需要任何调整，从而提高性能。在各种图像修复任务的广泛实验中，我们的MSFSNet实现了优于或可与最先进算法相媲美的性能。

本文旨在解决图像修复中空间域方法忽略频率变化和跳跃连接中隐式噪声影响的问题，提出了一种多尺度频率选择网络（MSFSNet）来无缝集成空间和频率领域知识，有选择地恢复更丰富，更准确的信息。

本文提出了两个通用的插件模块DFS和SFF，可以直接应用于现有网络中，以实现性能提升。DFS利用可学习滤波器生成高低频信息，并使用频率交叉注意机制（FCAM）确定要恢复的最大信息。SFF利用上下文特征来判别性地确定应在跳跃连接中传播哪些信息，以学习多尺度和准确的混合特征集。

本文的亮点包括：1.提出了一种新颖的多尺度频率选择网络，以集成空间和频率领域知识，有选择地恢复更丰富，更准确的信息。2.提出的DFS和SFF是通用的插件模块，可以直接应用于现有网络中，以实现性能提升。3.在各种图像修复任务中进行了广泛的实验，表明MSFSNet在性能上要么优于现有算法，要么与之相当。

近期在图像修复领域的相关研究包括：1.基于深度学习的图像修复算法，如Deep Image Prior和DeepFillv2。2.利用GAN进行图像修复的方法，如Contextual Attention GAN和EdgeConnect。3.使用自注意力机制的图像修复方法，如SANet和SEAN。