NVS-Solver: Video Diffusion Model as Zero-Shot Novel View Synthesizer

我们提出了一种新的新颖视图合成（NVS）范式——NVS-Solver，它利用预训练的大型视频扩散模型的强大生成能力，在\textbf{无需训练}的情况下运行。NVS-Solver可以自适应地调节扩散采样过程，以生成静态场景的单个或多个视图，或者动态场景的单目视频，从而实现出色的视觉体验。具体而言，我们基于理论建模，通过迭代地使用场景先验表示的扭曲输入视图来调节评分函数，控制视频扩散过程。此外，通过在估计误差边界上进行理论探索，我们根据视图姿态和扩散步数自适应地进行调制。在静态和动态场景上进行的广泛评估证实，我们的NVS-Solver在数量和质量上均明显优于现有的最先进方法。\textbf{源代码在} \href{https://github.com/ZHU-Zhiyu/NVS_Solver}{https://github.com/ZHU-Zhiyu/NVS$\_$Solver}。

论文提出了一种基于大型视频扩散模型的新型视图合成方法NVV-Solver，旨在从静态场景的单个或多个视图以及动态场景的单目视频中创建出色的视觉体验，而无需进行训练。该方法的关键问题是如何在给定场景先验的情况下调节扩散采样过程，以控制视图合成的质量。

论文的关键思路是利用大型视频扩散模型的生成能力，通过先前给定的视图自适应调节扩散采样过程，从而实现对静态场景和动态场景的视图合成。通过理论建模，论文探索了估计误差的边界，并根据视图姿态和扩散步数自适应地调节扩散采样过程。

论文的实验结果表明，NVV-Solver在静态场景和动态场景的视图合成方面显著优于现有方法，无论是从定量还是定性的角度来看。论文还提供了开源代码和数据集，方便其他研究者进一步研究和应用。

近年来，视图合成领域的相关研究包括DeepView、NeRF、NSVF等。