Trusted Video Inpainting Localization via Deep Attentive Noise Learning

近年来，深度学习大大改进了数字视频修复技术。尽管修复最初是为了修复受损区域，但它也可以被用作恶意操作，以删除重要对象，制造虚假场景和事实。因此，盲目识别修复区域具有重要意义。本文提出了一种具有出色的鲁棒性和泛化能力的可信视频修复定位网络（TruVIL）。观察到高频噪声可以有效地揭示修复区域，我们设计了多个阶段的深度注意噪声学习，以捕捉修复痕迹。首先，基于3D高通（HP3D）层的多尺度噪声提取模块用于从输入的RGB帧创建噪声模态。然后，通过跨模态注意融合模块探索这两个互补模态之间的相关性，以促进相互特征学习。最后，通过注意噪声解码模块选择性地增强空间细节，以提高网络的定位性能。为了准备足够的训练样本，我们还建立了一个帧级视频对象分割数据集，包括2500个视频，所有帧都有像素级注释。广泛的实验结果证实了TruVIL相对于现有技术的优越性。特别是，各种修复视频的定量和定性评估验证了我们提出的TruVIL的显着鲁棒性和泛化能力。代码和数据集将在https://github.com/multimediaFor/TruVIL上提供。

如何识别视频中的修复区域，防止恶意篡改？

提出了一种基于深度学习的Trusted Video Inpainting Localization网络，利用高频噪声识别修复区域，并通过多个阶段的深度学习模块进行特征学习和空间细节增强，实现了优秀的鲁棒性和泛化能力。

论文提出了一种新的解决方案，通过多个深度学习模块进行特征学习和空间细节增强，实现了优秀的鲁棒性和泛化能力；为了训练模型，还构建了一个帧级视频对象分割数据集；实验结果表明，TruVIL在各种修复视频上的定位性能优异，具有很高的实用性。

近年来，数字视频修复技术的深度学习应用得到了大幅改善，TruVIL是其中的一种新方法。此外，还有一些相关的研究，如Deep Image Prior for Image Inpainting，Generative Image Inpainting with Contextual Attention等。