Towards Hard and Soft Shadow Removal via Dual-Branch Separation Network and Vision Transformer

图像阴影去除是计算机视觉中的一个重要任务。在现实场景中，阴影会改变图像的颜色和亮度，给感知和纹理识别带来挑战。传统方法和深度学习方法常常忽视处理硬阴影和软阴影的不同需求，因此缺乏对图像中每种阴影进行详细处理的能力。我们提出了一种双路径模型，该模型使用专门设计的损失函数分别处理这些阴影，以实现硬阴影和软阴影的去除。模型通过分类阴影类型，并通过适当的路径进行处理，以生成无阴影的输出，同时结合了Vision Transformer与UNet++，以增强边缘细节和特征融合。我们的模型优于现有最先进方法，在ISTD数据集上达到了2.905的均方根误差（RMSE）值，这表明其比典型的单路径方法更有效。

该论文试图解决图像中阴影去除的问题，特别是针对硬阴影和软阴影的不同处理需求。这一问题在计算机视觉领域非常重要，因为阴影会改变图像的颜色和亮度，从而影响感知和纹理识别的准确性。虽然已有方法存在，但它们通常未能充分区分和专门处理这两种类型的阴影。

论文的关键思路是提出了一种双路径模型，专门设计用于分别处理硬阴影和软阴影。通过分类阴影类型并将其引导至适当的处理路径，模型能够更有效地生成无阴影的图像输出。此外，该模型结合了Vision Transformer与UNet++，以增强边缘细节和特征融合。相比现有的单路径方法，这种方法更具针对性，能够更好地应对不同类型的阴影。

实验结果显示，该模型在ISTD数据集上取得了2.905的RMSE值，优于当前最先进的方法。论文还强调了模型在处理不同类型阴影时的表现，并展示了其在边缘细节保留方面的优势。作者提供了详细的实验设计，使用了ISTD等多个数据集进行验证。目前尚不清楚是否有开源代码，但论文明确指出了一些值得进一步研究的方向，例如如何进一步优化阴影分类算法以及探索更多复杂场景下的应用。

近期在这个领域内有其他相关研究，例如《Deep Shadow Removal Using CycleGAN》、《Shadow Detection and Removal in Single Images Using a Deep Neural Network》等。这些研究主要集中在使用深度学习技术来检测和移除阴影，但大多未深入探讨硬阴影和软阴影的区别处理。