SeedVR: Seeding Infinity in Diffusion Transformer Towards Generic Video Restoration

视频修复在保持保真度的同时，从未知的野外退化中恢复时间一致性细节方面提出了非平凡的挑战。尽管基于扩散模型的修复方法最近取得了进展，但这些方法通常在生成能力和采样效率方面存在局限性。在这项工作中，我们提出了SeedVR，这是一种扩散变压器，旨在处理任意长度和分辨率的真实世界视频修复。SeedVR的核心设计在于移位窗口注意力机制，该机制有助于对长视频序列进行有效的修复。此外，SeedVR支持在空间和时间维度边界附近的可变大小窗口，克服了传统窗口注意力的分辨率限制。结合因果视频自动编码器、混合图像和视频训练以及渐进式训练等现代实践，SeedVR在合成和真实世界的基准测试以及AI生成的视频上均表现出极具竞争力的性能。大量实验表明，SeedVR在通用视频修复方面优于现有方法。

该论文试图解决在真实世界条件下视频修复所面临的挑战，即在未知的退化情况下恢复时间上一致的细节，同时保持高保真度。这是一个长期存在的问题，但随着对任意长度和分辨率视频处理的需求增加，它变得更加复杂。

论文的关键思路是引入SeedVR，一种基于扩散变换器的新模型，通过移位窗口注意力机制有效处理长视频序列的修复。与传统方法不同，SeedVR支持边界附近的可变大小窗口，从而克服了空间和时间维度上的分辨率限制。此外，该模型结合了因果视频自动编码器、混合图像和视频训练以及渐进式训练等现代技术，以提高其性能。

SeedVR展示了在合成和真实世界基准测试中的卓越表现，并且适用于AI生成的视频。实验设计包括广泛的测试，证明了SeedVR优于现有方法。值得注意的是，该研究不仅关注视频修复的质量，还特别强调了处理任意长度和分辨率的能力。关于开源代码的信息未在摘要中提及，但考虑到其实验结果的优越性，未来的工作可能包括进一步优化模型效率及扩展应用场景。

近年来，在视频修复领域有一些相关研究，例如《Temporal Consistency for Video Super-Resolution via Recurrent Feature Aggregation》、《Deep Video Deblurring for Hand-held Cameras》和《Video Inpainting Using Deep Image Prior》等。这些工作主要集中在特定类型的退化或固定条件下的修复，而SeedVR则旨在更广泛地应对真实世界的复杂性和多样性。