OneRestore: A Universal Restoration Framework for Composite Degradation

在现实场景中，图像损坏常常表现为复合降级，呈现出低光、雾、雨和雪等元素的复杂相互作用。尽管如此，现有的恢复方法通常针对孤立的降级类型，因此在存在多种降级因素的环境中表现不佳。为了弥补这一差距，我们的研究提出了一种多功能成像模型，将四种物理破坏范式合并，以准确表示复杂的复合降级场景。在这种情况下，我们提出了OneRestore，这是一个新颖的基于Transformer的框架，旨在实现自适应、可控的场景恢复。所提出的框架利用独特的交叉注意机制，将降级场景描述符与图像特征合并，从而实现细致的恢复。我们的模型允许多功能输入场景描述符，从手动文本嵌入到基于视觉属性的自动提取。我们的方法还通过复合降级恢复损失进行了进一步的增强，利用额外的降级图像作为负样本来加强模型约束。在合成和真实数据集上的比较结果表明，OneRestore是一种优越的解决方案，显著推动了解决复杂的复合降级的最新技术。

本文旨在解决图像修复中的复合损伤问题，即在低光、雾、雨和雪等多种因素同时存在的情况下进行修复。现有的修复方法通常只能针对单一的损伤类型，无法处理复合损伤的情况。

本文提出了一种多功能图像模型，将四种物理损伤范例合并在一起，以准确地表示复合损伤场景。同时，提出了一种基于Transformer的框架OneRestore，旨在实现自适应、可控的场景修复。该框架利用独特的交叉注意机制，将受损场景描述符与图像特征合并，实现细致的修复。模型允许多样化的输入场景描述符，从手动文本嵌入到基于视觉属性的自动提取。此外，本文还采用复合损伤修复损失，利用额外的受损图像作为负样本来加强模型约束。

本文的亮点在于提出了一种多功能图像模型和基于Transformer的框架，可以有效地处理复合损伤场景下的图像修复问题。实验结果表明，OneRestore是一种优秀的解决方案，显著推动了复合损伤修复领域的发展。本文使用了合成和真实数据集进行实验，并在公开数据集上进行了比较实验。此外，本文还提供了开源代码。

最近的相关研究包括：1.《Dual-Attention GAN for Large-Patch Semantic Inpainting》；2.《Learning to Restore Images with Adaptive Sparse Domain Selection and Spatial Sparsity Regularization》；3.《A Hybrid Model for Image Restoration with Multi-Task Learning and GANs》等。