Video Inpainting Localization with Contrastive Learning

这篇文章讨论了深度视频修复技术通常被用于恶意篡改以删除重要对象从而制造假视频的问题。因此，盲目识别修复区域变得非常重要。本文提出了一种简单而有效的视频修复定位方法，名为ViLocal。具体而言，本文采用3D Uniformer编码器对视频噪声残差进行编码，以学习有效的时空取证特征。为了增强区分能力，采用了有监督的对比学习方法，通过吸引/排斥正/负的原始和伪造像素对来捕捉修复视频的局部不一致性。通过专门的两阶段训练策略，使用轻量级卷积解码器生成像素级的修复定位图。为了准备足够的训练样本，作者构建了一个包含2500个视频的视频对象分割数据集，并对每帧进行像素级注释。大量实验结果验证了ViLocal相对于现有技术的优越性。本文的代码和数据集可在https://github.com/multimediaFor/ViLocal上获得。

本论文试图解决视频修复中的恶意篡改问题，提出了一种简单而有效的视频修复局部化方案。

论文采用3D Uniformer编码器对视频噪声残差进行编码，学习有效的时空取证特征。为了增强区分能力，采用监督对比学习来捕捉修复视频的局部不一致性。通过吸引/排斥正/负的原始和伪造像素对，产生像素级修复定位图。采用专门的两阶段训练策略的轻量级卷积解码器。为了准备足够的训练样本，作者构建了一个包含2500个视频的视频对象分割数据集，并进行了像素级注释。

论文的亮点包括：提出了一种新的视频修复局部化方案ViLocal，采用监督对比学习来增强区分能力，使用了一个包含2500个视频的视频对象分割数据集进行训练，并在实验中取得了优异的结果。作者已经开源了代码和数据集。

最近在这个领域中，还有一些相关的研究，如Deep Video Inpainting for Malicious Manipulation Detection， Video Inpainting with Learnable Bidirectional Attention Maps，Deep Video Inpainting Network for Zooming and Enhancing Visuals等。