Cinematographic Camera Diffusion Model

在虚拟三维环境中设计有效的摄像机轨迹即使对于有经验的动画师而言也是一项具有挑战性的任务。尽管通过多年的经验形成了一套复杂的电影语法，可以通过电影属性（构图、拍摄大小、角度、动作）来指定摄像机运动，但在决定如何放置和移动与角色相关的摄像机时，存在着无穷无尽的可能性，处理这些可能性是问题的一部分复杂性。虽然文献中提出了许多技术（基于优化的求解、经验规则的编码、从真实例子中学习等），但结果要么缺乏多样性，要么缺乏易于控制性。本文提出了一种电影式的摄像机扩散模型，使用基于transformer的架构来处理时间性，并利用扩散模型的随机性来生成多样化和优质的轨迹，这些轨迹是由高级文本描述条件化生成的。我们通过集成关键帧约束和使用潜在插值自然地混合动作来增加设计师的控制程度，并通过定性和定量实验以及从专业艺术家那里收集反馈来展示这种文本到摄像机运动的方法的优点。代码和数据可在\URL{https://github.com/jianghd1996/Camera-control}上获得。

论文试图通过使用transformer-based architecture和stochasticity of diffusion models来生成多样且高质量的虚拟环境中的相机轨迹，以解决相机运动的复杂性和缺乏多样性的问题。

论文的关键思路是使用transformer-based architecture和stochasticity of diffusion models来生成多样且高质量的相机轨迹。同时，论文还提出了将关键帧约束和潜在插值融合在一起的方法，以增加设计师的控制度。

论文通过定性和定量实验以及专业艺术家的反馈，展示了这种文本到相机运动的方法的优势。论文提供了代码和数据，并且开源。值得深入研究的工作包括如何进一步提高生成的相机轨迹的多样性和质量。

在相关研究方面，已经有一些基于优化、编码经验规则和学习的方法被提出来用于生成相机轨迹。例如，OptiX和DeepCam等。