DanceMeld: Unraveling Dance Phrases with Hierarchical Latent Codes for Music-to-Dance Synthesis

在3D数字人类应用领域中，音乐转舞蹈是一个具有挑战性的任务。由于音乐和舞蹈之间存在一对多的关系，以往的方法在处理上受到限制，仅依靠匹配并根据音乐节奏生成相应的舞蹈动作。在编舞的专业领域中，一个舞蹈短语由几个舞蹈姿势和舞蹈动作组成。舞蹈姿势由一系列基本的有意义的身体姿势组成，而舞蹈动作可以反映出舞蹈的节奏、旋律和风格等动态变化。受这些概念的启发，我们介绍了一种创新的舞蹈生成流程，称为DanceMeld，它包括两个阶段，即解耦阶段和生成阶段。在解耦阶段，我们使用分层VQ-VAE来将不同特征空间级别中的舞蹈姿势和舞蹈动作分离开来，其中底部代码表示舞蹈姿势，而顶部代码表示舞蹈动作。在生成阶段，我们利用扩散模型作为先验来建模分布并生成基于音乐特征的潜在代码。我们已经通过实验证明了顶部代码和底部代码的表征能力，使舞蹈姿势和舞蹈动作得以明确解耦。这种解耦不仅提供了对动作细节、风格和节奏的控制，而且还有助于应用，例如舞蹈风格转换和舞蹈单元编辑。我们的方法已在AIST++数据集上进行了定性和定量实验，证明了其优于其他方法的优越性。

论文旨在解决音乐和舞蹈之间的关系问题，提出一种创新的舞蹈生成方法，能够对舞蹈姿势和舞蹈动作进行分离，从而实现对舞蹈细节、风格和节奏的控制。

该论文提出了一种名为DanceMeld的舞蹈生成流程，包括两个阶段：舞蹈分离阶段和舞蹈生成阶段。在分离阶段，使用分层的VQ-VAE对舞蹈姿势和舞蹈动作进行分离，底部代码表示舞蹈姿势，顶部代码表示舞蹈动作。在生成阶段，使用扩散模型作为先验模型，根据音乐特征生成潜在代码。

论文在AIST ++数据集上进行了定性和定量实验，证明了其优于其他方法的表现。该方法不仅提供了对运动细节、风格和节奏的控制，还便于应用，如舞蹈风格转移和舞蹈单元编辑。同时，该论文还提供了开源代码。

与该论文相关的最新研究包括：《Dance Revolution: Long-Term Dance Generation with Music via Curriculum Learning》、《DanceGAN: Synthesizing Human Dance Motion via Music-Conditioned Graphical Generative Models》等。