Diff-Shadow: Global-guided Diffusion Model for Shadow Removal

我们提出了Diff-Shadow，一种全局引导扩散模型，用于高质量的阴影去除。之前基于Transformer的方法可以利用全局信息来关联阴影和非阴影区域，但在合成能力方面存在局限性，并且生成具有明显边界的图像。相比之下，基于扩散的方法可以生成更好的内容，但忽略了全局信息，导致照明不一致。在这项工作中，我们结合了扩散模型和全局引导的优点，实现了无阴影恢复。具体而言，我们提出了一种并行UNets架构：1）局部分支在扩散过程中执行基于补丁的噪声估计，2）全局分支恢复低分辨率的无阴影图像。设计了一种Reweight Cross Attention（RCA）模块，将非阴影区域的全局上下文信息整合到局部分支中。我们进一步设计了一种全局引导的采样策略（GSS），以缓解补丁边界问题，并确保恢复图像中遮蔽和未遮蔽区域的照明一致性。在ISTD、ISTD+和SRD三个公开标准数据集上进行的全面实验证明了Diff-Shadow的有效性。与最先进的方法相比，我们的方法在PSNR方面取得了显著的改进，在SRD数据集上从32.33dB提高到33.69dB。代码将被发布。

本论文旨在解决高质量阴影去除的问题。相比之前的transformer-based方法和diffusion-based方法，本文提出了一种全局引导扩散模型，结合了扩散模型和全局引导的优点，实现了阴影去除和一致的照明恢复。

本文的关键思路是将扩散模型和全局引导相结合，设计了并行的UNets架构和Reweight Cross Attention模块，同时还设计了Global-guided Sampling Strategy来解决补丁边界问题，实现了高质量的阴影去除和一致的照明恢复。

本文的实验结果表明，相比之前的state-of-the-art方法，本文的方法在PSNR上取得了显著的提高，从32.33dB提高到了33.69dB。本文使用了ISTD、ISTD+和SRD三个公共数据集进行了全面的实验，并且将代码开源。

近期在这个领域中，还有一些相关的研究，如：《Deep Shadow Removal with Illumination Priors》、《Shadow Detection and Removal with Conditional Generative Adversarial Networks》等。