ShadowMaskFormer: Mask Augmented Patch Embeddings for Shadow Removal

Transformer最近成为了计算机视觉任务的事实标准模型，并且已成功应用于阴影去除。然而，这些现有方法在使用通用的补丁嵌入的同时，严重依赖于变压器块内的复杂注意力机制的精细修改。因此，这经常导致需要额外的计算资源的复杂架构设计。在这项工作中，我们旨在探索在早期处理阶段中将阴影信息纳入模型的有效性。因此，我们提出了一种基于变形金刚的框架，其中包含一个为阴影去除量身定制的新型补丁嵌入，称为ShadowMaskFormer。具体而言，我们提出了一种简单有效的掩模增强补丁嵌入，以集成阴影信息并促进模型对阴影区域获取知识的重视。在ISTD、ISTD+和SRD基准数据集上进行的大量实验证明了我们的方法的有效性，同时使用更少的模型参数击败了最先进的方法。

本文旨在探索将阴影信息纳入早期处理阶段的Transformer模型，以解决阴影去除问题。相比现有方法，该方法不需要复杂的注意力机制修改和通用的patch embedding，从而减少了计算资源的需求。

本文提出了一个名为ShadowMaskFormer的基于Transformer的框架，其中包含一种新颖的patch embedding，专门为阴影去除而设计。该方法采用简单有效的掩码增强patch embedding，以整合阴影信息并促进模型对阴影区域的关注。

本文在ISTD、ISTD+和SRD基准数据集上进行了广泛的实验，证明了该方法相对于现有方法具有更高的效果，并且使用更少的模型参数。值得关注的是，该方法的设计简单而有效，实验结果表明其具有广泛的应用前景。该论文提供了开源代码。

最近的相关研究包括：1. Learning to See in the Dark with Transformer（使用Transformer进行暗光条件下的图像增强）；2. Dual-Attention GAN for Shadow Removal（使用双重注意机制的GAN进行阴影去除）；3. Progressive Image Deraining Networks: A Better and Simpler Baseline（使用渐进式学习的方法进行图像去雨）等。