Underwater Image Enhancement by Diffusion Model with Customized CLIP-Classifier

本文提出了一种新颖的水下图像增强方法，利用多向导扩散模型进行迭代增强。与其他图像增强任务不同，水下图像缺乏真实的参考图像。虽然现有的工作利用合成图像、手动选择的增强良好的图像作为参考图像来训练增强网络，但它们的增强性能总是带有从手动选择继承而来的主观偏好。为了解决这个问题，我们也使用图像合成策略，但合成图像来自于被水下领域引导的空中自然图像退化成相应的水下图像。基于这个策略，扩散模型可以从水下退化领域学习图像增强的先验知识到真实的空中自然领域。然而，微调模型以适应下游任务是不可避免的，这可能会抹去先验知识。为了缓解这个问题，我们将空中自然领域的先验知识与对比性语言-图像预训练（CLIP）相结合，训练一个分类器来控制扩散模型生成过程。此外，针对图像增强任务，我们发现图像到图像扩散模型和CLIP-分类器主要在微调过程中作用于高频区域。因此，我们提出了一种快速微调策略，专注于高频区域，可以比传统策略快10倍。大量实验证明，我们的方法（称为CLIP-UIE）呈现出更自然的外观。

本文提出了一种新的水下图像增强方法，旨在解决水下图像增强中缺乏真实参考图像的问题。同时，为了避免模型在微调过程中丢失先验知识，本文将对比语言-图像预训练（CLIP）与图像合成策略相结合，用于控制扩散模型生成过程。

本文的关键思路是将图像合成策略与对比语言-图像预训练相结合，用于控制扩散模型生成过程，以解决水下图像增强中缺乏真实参考图像的问题。

本文提出的方法称为CLIP-UIE，使用了图像合成策略和对比语言-图像预训练相结合的方法，用于控制扩散模型生成过程。本文提出了一种快速微调策略，重点关注高频区域，比传统策略快10倍以上。实验结果表明，CLIP-UIE方法具有更自然的外观。

在水下图像增强领域，目前的研究主要集中在使用合成图像或手动选择的真实图像作为参考图像来训练增强网络。本文提出的方法使用图像合成策略来生成水下图像，以解决缺乏真实参考图像的问题，并将对比语言-图像预训练应用于微调过程，以控制扩散模型的生成过程。