Semantic-guided Adversarial Diffusion Model for Self-supervised Shadow Removal

现有的无监督方法已经解决了阴影去除任务中不一致配对数据和繁琐获取地面真实标签的挑战。然而，基于GAN的训练经常面临模式崩溃和不稳定优化等问题。此外，由于阴影和无阴影领域之间的复杂映射，仅仅依靠对抗学习是不足以捕捉两个领域之间的潜在关系的，导致生成图像的质量较低。为了解决这些问题，我们提出了一种语义引导的自监督阴影去除对抗扩散框架，它由两个阶段组成。第一阶段提出了一个语义引导的生成对抗网络（SG-GAN）来进行粗略结果，并通过循环一致结构构建配对的合成数据。然后，第二阶段使用基于扩散的恢复模块（DBRM）对粗略结果进行细化，以增强纹理细节和边缘伪影。同时，我们提出了一个多模态语义提示器（MSP），有助于从真实图像和文本中提取准确的语义信息，指导SG-GAN更好地恢复图像。我们在多个公共数据集上进行实验，实验结果证明了我们方法的有效性。

论文旨在解决自监督阴影去除任务中GAN训练面临的问题，如模式崩溃和不稳定的优化，以及仅依靠对抗学习难以捕捉两个域之间的关系所导致的低质量生成图像。

论文提出了一种语义引导的对抗扩散框架，包括两个阶段：首先，使用语义引导的生成对抗网络（SG-GAN）进行粗略结果并通过循环一致的结构构建配对合成数据；然后使用基于扩散的恢复模块（DBRM）对粗略结果进行细化，以增强纹理细节和边缘伪影。

论文使用了多个公共数据集进行实验，并展示了该方法的有效性。此外，论文提出了多模态语义提示器（MSP），有助于从真实图像和文本中提取准确的语义信息，引导SG-GAN更好地恢复图像。论文还提供了开源代码。

最近的相关研究包括：Semantic-Aware Generative Adversarial Networks for Unsupervised Shadow Removal，Unsupervised Shadow Removal via Adversarial Training，Deep Dual Learning for Semantic Image Segmentation and Shadow Detection，Dual Adversarial Network for Real-time Shadow Detection and Removal from a Single Image等。