DanceCamera3D: 3D Camera Movement Synthesis with Music and Dance

编舞者决定舞蹈的外观，而摄影师则决定舞蹈的最终呈现。最近，各种方法和数据集展示了舞蹈合成的可行性。然而，由于缺乏匹配数据，将音乐和舞蹈与摄影机运动合成仍然是一个未解决的难题。因此，我们提出了DCM，这是一个新的多模态3D数据集，首次将摄像机运动与舞蹈动作和音乐音频相结合。该数据集包括来自动漫社区的108个舞蹈序列（3.2小时）的匹配舞蹈-摄像机-音乐数据，涵盖4种音乐流派。通过这个数据集，我们发现舞蹈摄像机运动是多方面的和以人为中心的，并具有多种影响因素，使得与单独的摄像机或舞蹈合成相比，舞蹈摄像机合成更具挑战性。为了克服这些困难，我们提出了DanceCamera3D，这是一个基于Transformer的扩散模型，它包括一种新颖的身体注意力损失和一个条件分离策略。为了评估模型，我们设计了新的度量标准，评估摄像机运动的质量、多样性和舞者的忠实度。利用这些度量标准，我们在DCM数据集上进行了大量实验，提供了定量和定性的证据，展示了我们的DanceCamera3D模型的有效性。代码和视频演示可在https://github.com/Carmenw1203/DanceCamera3D-Official上获得。

本论文旨在解决舞蹈录像中的舞者姿势、音乐和摄像机运动的综合合成问题，为此提出了一个新的多模态3D数据集DCM，并提出了一个基于transformer的扩散模型DanceCamera3D。

该论文的关键思路是将舞蹈动作、音乐和摄像机运动结合起来，提出了一种新的模型，并使用DCM数据集进行了评估。该模型包括一个新的身体注意力损失和条件分离策略。

该论文的亮点包括：提出了一个新的多模态3D数据集DCM；提出了一个新的基于transformer的扩散模型DanceCamera3D；使用新的评估指标对模型进行了广泛的实验评估；开源了代码和视频演示。

最近在这个领域中，还有一些相关的研究，如：DanceNet：A Model for Dance Motion Synthesis and Steady-State Detection；Dance Revolution: Long-Term Dance Generation with Music via Curriculum Learning；Dancing to Music: A Comprehensive Survey。