沈阳航空航天大学 | 用于单图像去雨的非配对对抗学习

论文标题： Unpaired Adversarial Learning for Single Image Deraining with
Rain-Space Contrastive Constraints 

论文链接：https://arxiv.org/abs/2109.02973

作者单位：沈阳航空航天大学 & 南京理工大学 & 武汉大学

具有不成对信息的基于深度学习的单图像去雨 (SID) 非常重要，因为依赖成对的合成数据通常会限制它们在实际应用中的通用性和可扩展性。然而，我们注意到在 SID 任务中直接使用不成对的对抗性学习和循环一致性约束不足以学习从雨天输入到干净输出的潜在关系，因为雨天和无雨图像之间的领域知识是不对称的。为了解决这种限制，我们开发了一种有效的未配对 SID 方法，该方法通过 GAN 框架中的对比学习方式探索未配对样本的相互属性，称为 CDR-GAN。所提出的方法主要由两个合作分支组成：双向翻译分支（BTB）和对比引导分支（CGB）。具体来说，BTB 充分利用对抗性一致性的循环架构来利用潜在特征分布并通过为其配备双向映射来引导两个域之间的转移能力。同时，CGB 通过鼓励相似的特征分布更接近，同时将不同的特征分布推得更远，隐式约束雨空间中不同样本的嵌入，以更好地帮助去除雨水和图像恢复。在训练期间，我们探索了几个损失函数来进一步约束提议的 CDRGAN。大量实验表明，我们的方法在合成和现实世界数据集上与现有的非配对去雨方法相比表现良好，甚至优于几个全监督或半监督模型。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除