Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration

本文介绍了一种名为DyNet的动态网络，用于所有图像修复任务，它采用编码器-解码器风格设计，可以无缝切换其较重和轻量级变体，从而提供了单次训练的高效模型部署的灵活性。这种无缝切换是通过权重共享机制实现的，形成了我们架构的核心，并促进了初始化模块权重的重复使用。为了建立强健的权重初始化，我们引入了一种动态预训练策略，同时训练所提出的DyNet的变体，从而实现了GPU小时数的50%减少。为了解决预训练所需的大规模数据集的不可用性，我们策划了一个名为Million-IRD的高质量、高分辨率图像数据集，其中包含2M个图像样本。我们验证了我们的DyNet在所有图像修复任务中，包括图像去噪、去雨和去雾，均取得了最先进的结果，与基线模型相比，GFlops减少了31.34%，参数减少了56.75%。源代码和训练模型可在https://github.com/akshaydudhane16/DyNet上找到。

本论文旨在提出一种动态网络结构，用于解决图像恢复中的多种降质问题，并能够在高效的模型部署中提供灵活性。

本文提出了DyNet，一种动态编码器-解码器风格的网络结构，可无缝切换其更大和更轻的变体，从而提供了单轮训练的高效模型部署的灵活性。该网络的核心是权重共享机制，以及动态预训练策略来确保鲁棒性的权重初始化。

本文提出了一个高质量、高分辨率的图像数据集Million-IRD，并在图像去噪、去雨和去雾任务中验证了DyNet的性能，取得了与基线模型相比31.34%的GFlops降低和56.75%的参数降低的最先进结果。此外，本文还开源了源代码和训练好的模型。

最近在这个领域中，还有一些相关的研究，如：Toward Realistic Single-Image Rain Removal with a Progressive Prior-Injecting GAN；Reducing the Annotation Cost of Image Restoration with Pretrained Models；Deep Learning for Image Dehazing: A Comprehensive Survey等。