Boosting Image Restoration via Priors from Pre-trained Models

本文介绍了预训练模型在图像修复方面的应用。虽然像CLIP和Stable Diffusion这样的大规模训练数据的预训练模型已经在图像理解和从语言描述中生成图像等各种高级计算机视觉任务中展现出了显著的性能，但是它们在图像修复这样的低级任务中的潜力仍然相对未被开发。因此，本文探讨了这些模型在提高图像修复方面的性能。由于预训练模型的现成特征并不直接为图像修复服务，因此我们提出了一个名为Pre-Train-Guided Refinement Module（PTG-RM）的轻量级模块，用于通过预训练模型的现成特征来改进目标修复网络的修复结果。PTG-RM由两个组件组成，即Pre-Train-Guided Spatial-Varying Enhancement（PTG-SVE）和Pre-Train-Guided Channel-Spatial Attention（PTG-CSA）。PTG-SVE实现了最佳的短程和长程神经操作，而PTG-CSA增强了与修复相关的学习的空间通道关注。大量实验证明，PTG-RM具有紧凑的大小（小于1M参数），可以有效地提高各种模型在不同任务中的修复性能，包括低光增强、去雨、去模糊和去噪。

本论文旨在探索使用预训练模型来提高图像恢复的性能，特别是低级任务，如图像去噪、去模糊、去雨、低光照增强等。作者提出了一种名为PTG-RM的轻量级模块，用于从预训练模型中学习并优化目标图像恢复网络的结果。

论文提出了一种名为PTG-RM的模块，它由两个组件组成：PTG-SVE和PTG-CSA。PTG-SVE用于进行最佳的短程和长程神经操作，而PTG-CSA用于增强空间-通道注意力以进行与恢复相关的学习。

论文使用了预训练模型的离线特征来增强图像恢复，提出了PTG-RM模块，该模块具有紧凑的大小（小于1M个参数），并且可以有效地提高各种模型在不同任务中的恢复性能。实验结果表明，PTG-RM在低光照增强、去雨、去模糊和去噪等任务中均具有良好的表现。

最近在这个领域中，还有一些相关的研究，如：Faster Restoration of Images with High-frequency Details via a Low/High-frequency Decomposition-based Network，Deep Video Prior，Deep Image Prior，Deep Convolutional Neural Networks for Image Denoising: A Survey等。