ConStyle v2: A Strong Prompter for All-in-One Image Restoration

这篇论文介绍了ConStyle v2，一个强大的即插即用提示器，旨在输出清晰的视觉提示，帮助U-Net图像恢复模型处理多种退化。IRConStyle是一个图像恢复框架，由ConStyle和一个通用恢复网络组成，其联合训练过程分为两个阶段：首先，仅对ConStyle进行预训练，然后冻结其权重以指导通用恢复网络的训练。在预训练阶段提出了三个改进：无监督预训练、添加预文本任务（即分类）和采用知识蒸馏。不需要任何花哨的技巧，我们可以在不到两个GPU天内获得ConStyle v2，一个强大的全能图像恢复提示器，并且不需要任何微调。对Restormer（基于transformer）、NAFNet（基于CNN）、MAXIM-1S（基于MLP）和一个基本CNN网络进行的大量实验表明，ConStyle v2可以增强任何U-Net风格的图像恢复模型，使其成为全能图像恢复模型。此外，由训练良好的ConStyle v2指导的模型在某些特定退化方面表现出优越性。

本论文旨在解决多种图像退化情况下的图像恢复问题，并提出了一个强大的插件式提示器ConStyle v2来辅助U-Net风格的图像恢复模型。

论文提出了一种联合训练框架IRConStyle，包括ConStyle和一个通用的恢复网络，并将训练分为两个阶段。第一阶段是单独对ConStyle进行预训练，第二阶段是冻结ConStyle的权重来指导通用恢复网络的训练。在预训练阶段，提出了三种改进方法来训练ConStyle：无监督预训练、添加预文本任务和采用知识蒸馏。通过这种方法，可以在不到两个GPU天的时间内得到一个强大的提示器ConStyle v2，无需任何微调。

论文使用了Restormer、NAFNet、MAXIM-1S和一个基本CNN网络进行了广泛的实验，证明了ConStyle v2可以将任何U-Net风格的图像恢复模型提升为全能图像恢复模型，并在某些特定退化情况下表现出优异的性能。此外，论文还提供了数据集和开源代码，为后续的研究提供了便利。

最近的相关研究包括《Deep Image Prior》、《Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections》等。