Difflare: Removing Image Lens Flare with Latent Diffusion Model

从受到镜头光晕影响的图像中恢复高质量图像是低级别视觉领域中的一个重大挑战。当代深度学习方法通常需要从头开始训练一个去除镜头光晕的模型。然而，尽管这些方法取得了显著的成功，但它们未能利用预训练模型所学的生成先验知识，导致在去除镜头光晕方面表现不佳。此外，只有少数研究考虑到与光晕去除相关的物理先验知识。为了解决这些问题，我们介绍了一种新的去除镜头光晕的方法——Difflare。为了利用预训练扩散模型（PTDM）所学的生成先验知识，我们引入了可训练的结构指导注入模块（SGIM），旨在用PTDM指导恢复过程。为了更有效地训练，我们在潜空间中使用Difflare。为了解决由于潜空间压缩和PTDM随机采样过程导致的信息损失，我们引入了自适应特征融合模块（AFFM），它将光晕亮度梯度先验（LGP）纳入特征提取的动态调节中。大量实验证明，我们提出的Difflare在现实世界的镜头光晕去除方面实现了最先进的性能，可以恢复受光晕影响的图像，并提高了保真度和感知质量。代码将很快发布。

解决问题：如何从受到镜头耀斑影响的图像中恢复高质量的图像，这是低级别视觉中的一个重大挑战。

关键思路：提出了一种名为Difflare的新方法，该方法利用预训练扩散模型的生成先验知识，通过可训练的结构指导注入模块（SGIM）引导恢复过程，并在潜在空间中使用Difflare以实现更高效的训练。

其他亮点：使用自适应特征融合模块（AFFM）来动态调节特征提取，以解决由于潜在压缩和扩散模型的随机采样过程而导致的信息丢失问题。实验结果表明，Difflare在现实世界的镜头耀斑去除方面取得了最先进的性能，能够以更高的保真度和感知质量恢复受耀斑影响的图像。代码即将发布。

相关研究：最近的相关研究包括《Single Image Lensless Imaging Using Deep Learning》、《Deep Learning for Computational Imaging》等。