Refusion: Enabling Large-Size Realistic Image Restoration with Latent-Space Diffusion Models

解决问题：这篇论文旨在改进扩散模型在现实图像恢复中的适用性。具体而言，作者在网络架构、噪声水平、去噪步骤、训练图像大小和优化器/调度器等几个方面增强了扩散模型，以实现更好的失真和感知分数表现。同时，作者提出了一种基于U-Net的潜空间扩散模型，可以在低分辨率潜空间中进行扩散，同时保留原始输入的高分辨率信息进行解码。与先前训练VAE-GAN压缩图像的潜空间扩散模型相比，作者提出的U-Net压缩策略更加稳定，可以在不依赖对抗优化的情况下恢复高度准确的图像。这些修改使得扩散模型可以应用于各种图像恢复任务，包括现实世界的去阴影、高分辨率非均匀去雾、立体超分辨率和景深效果转换等。作者的模型Refusion在NTIRE 2023图像去阴影挑战赛中取得了最佳感知表现，并获得了第二名的好成绩。

关键思路：论文中的关键思路是通过增强扩散模型的多个方面，以实现更好的失真和感知分数表现。作者还提出了一种基于U-Net的潜空间扩散模型，使得模型可以应用于各种图像恢复任务，并且可以处理大尺寸图像。

其他亮点：作者在实验中使用了多个数据集，并且提供了开源代码。作者的U-Net压缩策略相比先前的扩散模型更加稳定，可以恢复高度准确的图像。作者的模型Refusion在NTIRE 2023图像去阴影挑战赛中获得了好成绩，值得进一步研究。

关于作者：Ziwei Luo、Fredrik K. Gustafsson、Zheng Zhao、Jens Sjölund和Thomas B. Schön都是瑞典皇家理工学院的研究人员。他们的代表作包括：Ziwei Luo的“Real-time Neural Style Transfer for Videos”和“Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks”；Fredrik K. Gustafsson的“Particle Filters for Positioning, Navigation, and Tracking”和“Recursive Estimation and Time-Series Analysis: An Introduction for the Student and Practitioner”；Zheng Zhao的“Deep Residual Learning for Nonlinear Regression”和“Image Super-Resolution Using Very Deep Residual Channel Attention Networks”；Jens Sjölund的“Deep Learning for Time-Series Analysis”和“Nonlinear Bayesian Filtering for Fault Detection and Diagnosis in Autonomous Systems”；Thomas B. Schön的“Sequential Monte Carlo Methods for Dynamic Systems”和“Bayesian Filtering and Smoothing”。

相关研究：最近的相关研究包括：1）“Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild” by Zhongshi Jiang, et al. from ETH Zurich；2）“Deep Image Prior” by Dmitry Ulyanov, et al. from Skolkovo Institute of Science and Technology；3）“Deep Video Deblurring for Hand-held Cameras” by Seungjun Nah, et al. from Seoul National University。

论文摘要：本文旨在提高扩散模型在实际图像修复中的适用性。具体而言，我们在网络架构、噪声水平、去噪步骤、训练图像大小和优化器/调度器等方面增强了扩散模型。我们展示了调整这些超参数可以在失真和感知评分上实现更好的性能。我们还提出了基于U-Net的潜空间扩散模型，它在低分辨率潜空间中执行扩散，同时保留原始输入的高分辨率信息以进行解码过程。与先前训练VAE-GAN压缩图像的潜空间扩散模型相比，我们提出的U-Net压缩策略更加稳定，可以在不依赖对抗优化的情况下恢复高度准确的图像。重要的是，这些修改使我们能够将扩散模型应用于各种图像修复任务，包括现实世界的去阴影、高分辨率非均匀去雾、立体超分辨率和背景虚化效果转换。通过简单地更换数据集并略微更改噪声网络，我们的模型名为Refusion能够处理大尺寸图像（例如，6000 x 4000 x 3的高分辨率去雾）并在所有上述修复问题上产生良好的结果。我们的Refusion在NTIRE 2023图像去阴影挑战赛中取得了最佳感知性能，并获得了第二名。

内容中包含的图片若涉及版权问题，请及时与我们联系删除