Latent Feature-Guided Diffusion Models for Shadow Removal

2023年12月04日
  • 简介
    本文提出了使用扩散模型来解决阴影下的纹理恢复问题,因为扩散模型在扩散过程中逐渐细化阴影区域的细节,因此具有良好的前景。我们的方法通过在一个学习到的潜在特征空间上进行条件限制,这个特征空间继承了无阴影图像的特征,从而避免了传统方法只能在退化图像上进行条件限制的局限性。此外,我们提出了通过将噪声特征与扩散网络融合来缓解训练过程中的局部最优问题。我们展示了我们的方法的有效性,其在AISTD数据集上的RMSE指标比之前最好的方法提高了13%。此外,我们还探索了实例级别的阴影去除,在DESOBA数据集上,我们的模型在RMSE指标上比之前最好的方法提高了82%。
  • 图表
  • 解决问题
    解决问题:该论文旨在解决阴影下纹理恢复的难题,通过扩散模型和学习的潜在特征空间来改进传统方法。
  • 关键思路
    关键思路:该论文提出了使用扩散模型和学习的潜在特征空间来逐步细化阴影区域的细节,从而避免了传统方法仅在退化图像上进行条件的局限性。此外,论文还提出通过将噪声特征与扩散网络融合来缓解潜在的局部最优问题。
  • 其它亮点
    其他亮点:该论文在AISTD数据集上的RMSE指标比之前最好的方法提高了13%,在DESOBA数据集上的RMSE指标比之前最好的方法提高了82%。此外,该论文还探索了实例级阴影去除,并在该任务上取得了很好的效果。
  • 相关研究
    相关研究:最近在这个领域中,一些相关的研究包括:'DeepShadowMasks: Learning to Remove Shadows from Unpaired Data','Shadow Detection and Removal: A Survey','Single Image Shadow Removal Using Pixel-wise Wavelet Filtering'等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论