Unpaired Photo-realistic Image Deraining with Energy-informed Diffusion Model

目前现有的非配对图像去雨方法在准确捕捉雨天和晴天之间的区别方面面临挑战，导致重建图像中存在残留降级和色彩失真。因此，我们提出了一种基于能量信息扩散模型的非配对照片级图像去雨方法（UPID-EDM）。首先，我们深入探讨了对比语言-图像预训练模型（CLIP）中嵌入的复杂视觉-语言先验，并证明了CLIP先验有助于区分雨天和晴天图像。此外，我们引入了一种双一致性能量函数（DEF），保留与雨无关的特征，同时消除与雨有关的特征。该能量函数通过非对应的雨天和晴天图像进行训练。此外，我们采用了去除雨相关能量函数（RDEF）和保留雨无关能量函数（RPEF）来指导预训练扩散模型的反向采样过程，有效地去除雨痕，同时保留图像内容。大量实验证明，我们的能量信息模型在监督和无参考指标方面均优于现有的非配对学习方法。

本文旨在解决无配对图像去雨问题中存在的残留降级和颜色失真的问题，提出了一种能量感知扩散模型来进行无配对图像去雨。

本文提出了一种双一致性能量函数（DEF），通过训练非对应的雨天和晴天图像来保留与雨无关的特征，同时消除与雨有关的特征。此外，采用了雨相关性丢弃能量函数（RDEF）和雨无关性保留能量函数（RPEF）来指导预训练扩散模型的反向采样过程，从而有效地去除雨条纹并保留图像内容。

本文利用对比语言图像预训练模型（CLIP）中的视觉-语言先验来区分雨天和晴天图像。大量实验表明，本文提出的能量感知模型在监督和无参考指标方面均优于现有的无配对学习方法。

相关研究包括：1. Unsupervised Learning for Real-World Image Super-Resolution; 2. CycleGAN: Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks; 3. DeRaindrop: A New Benchmark Dataset and Rain Streak Removal Methods.