Restorer: Solving Multiple Image Restoration Tasks with One Set of Parameters

虽然图像恢复领域有很多优秀的解决方案，但它们专门为单个图像恢复任务设计的事实可能会阻止它们成为其他类型图像恢复任务中的最佳解决方案。虽然一些方法需要考虑多个图像恢复任务，但它们仍然不足以满足现实世界的要求，并可能遭受任务混淆问题。在本研究中，我们专注于设计一个统一且有效的解决方案，用于多个图像恢复任务，包括去雨、去雪、去雾、去模糊、去噪和低光增强。基于上述目的，我们提出了一种具有U-Net架构的Transformer网络Restorer。为了有效处理多个图像恢复任务中的退化信息，我们需要更全面的注意机制。因此，我们通过立体嵌入和3D卷积设计了全轴注意力（AAA），它可以同时模拟空间和通道维度中的长距离依赖关系，捕获所有轴之间的潜在相关性。此外，我们提出了一种基于文本提示的Restorer。与使用可学习查询的先前方法相比，文本提示带来了明确的任务先验，以解决由可学习查询引起的任务混淆问题，并引入了交互性。基于这些设计，Restorer在多个图像恢复任务中展示了与通用图像恢复框架和专门为这些单个任务设计的方法相当的SOTA或可比性能。同时，Restorer在推理过程中更快。上述结果以及实际测试结果表明，Restorer有潜力成为多个现实世界图像恢复任务的骨干。

本论文旨在设计一种适用于多种图像修复任务的统一有效解决方案，包括去雨、去雪、去雾、去模糊、去噪以及低光增强。同时解决学习查询引起的任务混淆问题。

论文提出了一种基于Transformer网络和U-Net架构的Restorer，通过设计全轴注意力机制和基于文本提示的Restorer来解决多种图像修复任务中的降级信息，实现了SOTA或可比较的性能。

论文设计了全轴注意力机制（AAA）和基于文本提示的Restorer，实现了SOTA或可比较的性能。实验结果表明Restorer具有较快的推理速度，并且在多种图像修复任务中表现出潜力。

最近的相关研究包括基于GAN的图像修复方法、基于深度学习的图像修复方法等。