Raformer: Redundancy-Aware Transformer for Video Wire Inpainting

视频线条修复（VWI）是视频修复中的一个重要应用，旨在完美地删除电影或电视剧中的电线，相比逐帧手动删除，可以节省大量时间和人力成本。然而，电线的删除比一般视频修复任务中的目标物体更长、更细，且常常与人和背景物体交叉不规则，这增加了修复过程的复杂性。鉴于现有的视频线条数据集存在的局限性，如规模小、质量差、场景种类有限，我们引入了一种新的VWI数据集，即Wire Removal Video Dataset 2（WRV2）和Pseudo Wire-Shaped（PWS）Masks作为一种新的掩模生成策略。WRV2数据集包括超过4000个视频，平均长度为80帧，旨在促进修复模型的开发和有效性。在此基础上，我们的研究提出了一种名为Redundancy-Aware Transformer（Raformer）的方法，以解决视频修复中电线删除的独特挑战。与传统方法不同，Raformer采用一种新的策略，有选择地绕过冗余部分，如缺乏修复有价值信息的静态背景段。Raformer的核心是Redundancy-Aware Attention（RAA）模块，通过粗粒度的基于窗口的注意机制来分离和强调关键内容。这得到了Soft Feature Alignment（SFA）模块的补充，后者可以优化这些特征并实现端到端的特征对齐。对传统视频修复数据集和我们提出的WRV2数据集的广泛实验表明，Raformer的表现优于其他最先进的方法。

本文旨在解决视频修复中的线条去除问题，提出了一种新的数据集和方法。

本文提出了一种新的Redundancy-Aware Transformer (Raformer)方法，通过Redundancy-Aware Attention (RAA)模块和Soft Feature Alignment (SFA)模块解决了视频修复中线条去除的挑战。

本文提出了一个新的Wire Removal Video Dataset 2 (WRV2)数据集和Pseudo Wire-Shaped (PWS) Masks掩模生成策略，用于评估视频修复算法的效果。实验结果表明，Raformer方法在传统视频修复数据集和WRV2数据集上均优于其他现有方法。

在相关研究方面，最近的研究包括Deep Video Inpainting、Deep Flow-Guided Video Inpainting和Deep Image Prior等。