Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis

本文提出了一种名为$\textbf{GCD}$的可控单目动态视角合成技术，旨在从任何场景的视频中生成另一种视角的同步视频，只需给出相对相机姿态参数即可。该模型不需要深度信息作为输入，也不需要显式建模三维场景几何形状，而是通过端到端的视频到视频转换来高效地实现其目标。尽管仅在合成的多视角视频数据上进行训练，但零样本的真实世界泛化实验在多个领域展现出了有希望的结果，包括机器人技术、物体永恒性和驾驶环境。我们相信，我们的框架有潜力在丰富的动态场景理解、机器人感知和交互式虚拟现实3D视频查看体验等方面实现强大的应用。

本论文旨在解决单视角下复杂动态场景的重建问题，提出了一种基于大规模扩散先验的可控单目动态视角合成流程，以实现在任意视角下生成同步视频的目标。

该论文的关键思路是利用大规模扩散先验进行端到端的视频到视频翻译，不需要深度信息和显式建模三维场景几何，只需要相对相机姿态参数即可实现视角合成。

该论文的亮点包括：实现了单视角下的动态场景重建，不需要多视角视频；使用大规模扩散先验实现端到端视频到视频翻译；在多个领域进行了实验验证，包括机器人、物体永恒性和驾驶环境；在实验中表现出了良好的性能，具有实际应用前景。

与本论文相关的研究包括：基于多视角视频的动态场景合成方法，如《Unsupervised Learning for Real-Time 3D Multi-Object Tracking》；基于深度学习的视角合成方法，如《Neural View-Dependent Multiview Video Coding》。