DiffIR2VR-Zero: Zero-Shot Video Restoration with Diffusion-based Image Restoration Models

本文介绍了一种使用预训练图像恢复扩散模型进行零样本视频修复的方法。传统的视频修复方法通常需要针对不同的设置进行重新训练，并且在各种降解类型和数据集之间的普适性有限。我们的方法使用分层令牌合并策略来处理关键帧和局部帧，并结合混合对应机制，将光流和基于特征的最近邻匹配（潜在合并）相结合。我们展示了我们的方法不仅在零样本视频修复方面取得了最佳性能，而且在跨越各种数据集和极端降解（8倍超分辨率和高标准差视频去噪）方面显著超越了训练模型。我们通过各种具有挑战性的数据集的定量指标和视觉比较提供了证据。此外，我们的技术适用于任何2D恢复扩散模型，为视频增强任务提供了多功能和强大的工具，无需进行大量重新训练。这项研究为更高效、更广泛适用的视频修复技术开辟了道路，支持需要高质量视频输出的领域的进步。请访问我们的项目页面以获取视频结果：https://jimmycv07.github.io/DiffIR2VR_web/。

本论文旨在通过使用预训练的图像恢复扩散模型，提出一种零样本视频恢复的方法。传统的视频恢复方法通常需要重新训练以适应不同的设置，并且难以在各种退化类型和数据集之间进行有限的泛化。

论文提出了一种分层令牌合并策略，用于关键帧和局部帧，结合了光流和基于特征的最近邻匹配（潜在合并）的混合对应机制。该方法不仅在零样本视频恢复方面实现了最佳性能，而且在跨多种数据集和极端退化方面（8倍超分辨率和高标准差视频去噪）显著超越了训练模型。该技术与任何2D恢复扩散模型配合使用，提供了一种多功能且强大的视频增强工具，无需进行广泛的重新训练。

本论文的亮点包括：使用预训练的图像恢复扩散模型进行零样本视频恢复；采用分层令牌合并策略和混合对应机制；在多种数据集和极端退化方面取得了显著的性能提升；实验结果通过定量指标和视觉比较进行了验证；论文提供了开源的项目页面，展示了视频恢复结果。

在这个领域中，最近的相关研究包括：《Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation》、《End-to-End Video Super-Resolution with Motion-Guided Frame Interpolation》等。