Warped Diffusion: Solving Video Inverse Problems with Image Diffusion Models

使用图像模型解决视频逆问题时，通常会遇到闪烁、纹理粘连和生成视频的时间不一致性等问题。为了解决这些问题，本文将帧视为二维空间中的连续函数，并将视频视为不同帧之间的一系列连续变形变换。这种视角使我们能够仅在图像上训练函数空间扩散模型，并利用这些模型解决时间相关的逆问题。函数空间扩散模型需要对底层的空间变换具有等变性。为了确保时间一致性，我们引入了一种简单的后处理测试时引导方法，以获得（自）等变解。我们的方法使我们能够部署最先进的潜在扩散模型，如Stable Diffusion XL来解决视频逆问题。我们展示了该方法在视频修复和8倍视频超分辨率方面的有效性，优于现有的基于噪声变换的技术。我们提供了生成的视频结果：https://giannisdaras.github.io/warped_diffusion.github.io/。

该论文旨在解决使用图像模型处理视频逆问题时常见的闪烁、纹理粘连和时间不一致性问题。这是一个在视频处理领域内长期存在的问题。

论文的关键思路是将视频帧视为2D空间中的连续函数，并将视频视为不同帧之间的一系列连续变形变换。通过这种视角，可以在仅使用图像训练的功能空间扩散模型上解决时间相关性逆问题。为了确保时间一致性，引入了一种简单的测试时后处理指导方法，引导模型生成自等变解决方案。这一思路创新地利用了现有的图像生成模型来解决视频处理问题。

论文展示了其方法在视频修复和8倍视频超分辨率任务上的有效性，显著优于基于噪声变换的方法。实验设计包括对多种视频逆问题的评估，使用了标准数据集进行验证。此外，作者提供了生成的视频结果，展示了解决方案的实际效果。项目代码已开源，为后续研究提供了基础。未来的研究可以进一步探索更复杂的视频逆问题，如视频去模糊和视频去噪。

近期在视频处理领域的一些相关研究包括： 1. "Temporal Consistency in Video Inpainting Using Transformer Networks" - 探索了使用Transformer网络实现视频修复的时间一致性。 2. "Learning Temporal Dynamics for Video Super-Resolution" - 研究了如何学习视频超分辨率中的时间动态。 3. "Equivariant Neural Rendering for Video Synthesis" - 提出了等变神经渲染方法，用于视频合成中的时间一致性。 4. "Video Super-Resolution via Deep Recursive Residual Network" - 使用深度递归残差网络实现了视频超分辨率。