Referring Flexible Image Restoration

实际上，图像通常展现出多种退化，例如夜间的雨和雾（三重退化）。然而，在许多情况下，个人可能不想去除所有的退化，例如，模糊的镜头揭示了美丽的雪景（双重退化）。在这种情况下，人们可能只想去模糊。这些情况和要求为图像恢复提出了一个新的挑战，即模型必须感知并去除由人类命令指定的特定退化类型的图像中的多个退化。我们将这个任务称为引用灵活的图像恢复（RFIR）。为了解决这个问题，我们首先构建了一个大规模的合成数据集，称为RFIR，包括153,423个样本，其中包括退化图像、特定退化去除的文本提示和恢复图像。RFIR包括五种基本的退化类型：模糊、雨、雾、低光和雪，同时包括六个主要的子类别，用于不同程度的退化去除。为了解决这个挑战，我们提出了一种新颖的基于转换器的多任务模型，名为TransRFIR，它同时感知图像中的退化类型并根据文本提示去除特定的退化。TransRFIR基于两个设计的注意模块，多头代理自注意力（MHASA）和多头代理交叉注意力（MHACA），其中MHASA和MHACA引入代理令牌并达到线性复杂度，实现比普通自注意力和交叉注意力更低的计算成本，并获得竞争性能。我们的TransRFIR与其他对手相比实现了最先进的性能，并被证明是一种有效的图像恢复架构。我们在https://github.com/GuanRunwei/FIR-CP发布了我们的项目。

论文旨在解决Referring Flexible Image Restoration（RFIR）这一新问题，即如何根据人类指令感知和去除图像中特定的退化类型。

论文提出了一种基于Transformer的多任务模型TransRFIR，通过两个注意力模块实现感知和去除特定的退化类型，其中引入了代理标记并实现了线性复杂度，相比传统的自注意力和交叉注意力具有更低的计算成本。

论文构建了一个大规模的合成数据集RFIR，包括153,423个样本，其中包括五种基本的退化类型和六种主要的子分类，用于不同程度的退化去除。TransRFIR在实验中取得了最先进的性能，并已在GitHub上公开发布。

近年来，在图像恢复领域中，还有一些相关的研究，如《Deep Image Prior》、《Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections》等。