SafePaint: Anti-forensic Image Inpainting with Domain Adaptation

2024年04月28日
  • 简介
    现有的图像修复方法在生成视觉上令人赏心悦目的结果方面取得了显著的成就,通常伴随着创造更复杂的结构纹理的趋势。然而,尽管这些模型在创建更真实的图像内容方面表现出色,它们经常留下明显的篡改痕迹,对安全构成重大威胁。在这项工作中,我们考虑了反取证能力,首先提出了一种名为SafePaint的端到端反取证图像修复训练框架。具体来说,我们创新地将图像修复分为两个主要任务:语义合理的内容补全和区域优化。前者类似于当前的修复方法,旨在恢复损坏图像的缺失区域。后者通过域自适应,致力于协调修复区域与未更改区域之间的差异,以实现反取证目标。通过全面的理论分析,我们验证了域自适应对于反取证性能的有效性。此外,我们精心制作了一个区域分离注意力(RWSA)模块,不仅符合我们的反取证目标,而且增强了模型的性能。广泛的定性和定量评估显示,我们的方法在提供其他方法不具备的反取证能力的同时,实现了与现有图像修复方法相当的结果。
  • 作者讲解
  • 图表
  • 解决问题
    本文旨在提出一种具有抗取证能力的图像修复方法,解决现有图像修复方法在生成逼真图像的同时容易留下痕迹的问题。
  • 关键思路
    本文提出了一种端到端的图像修复框架,将图像修复分为两个主要任务:语义上可信的内容完成和区域优化。前者类似于当前的修复方法,后者通过域自适应来实现抗取证目标。
  • 其它亮点
    本文提出的SafePaint方法实现了抗取证能力,并且在视觉效果和定量评估方面与现有图像修复方法相当。此外,本文还设计了区域分离注意力模块(RWSA),提高了模型的性能。
  • 相关研究
    最近的相关研究包括:Image Inpainting for Irregular Holes Using Partial Convolutions、Generative Image Inpainting with Contextual Attention、Free-Form Image Inpainting with Gated Convolution和Deep Exemplar-based Video Inpainting等。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问