Lodge: A Coarse to Fine Diffusion Network for Long Dance Generation Guided by the Characteristic Dance Primitives

2024年03月15日
  • 简介
    我们提出了Lodge,这是一个能够根据给定的音乐生成极长舞蹈序列的网络。我们将Lodge设计为两阶段的粗到细的扩散架构,并提出了具有显著表现力的特征舞蹈原语作为两个扩散模型之间的中间表示。第一阶段是全局扩散,它专注于理解粗略水平的音乐-舞蹈相关性和生成特征舞蹈原语。相比之下,第二阶段是局部扩散,它在舞蹈原语和编舞规则的指导下并行生成详细的动作序列。此外,我们提出了一个脚部细化块来优化脚与地面之间的接触,增强动作的物理真实感。我们的方法可以并行生成极长长度的舞蹈序列,平衡全局编舞模式和局部动作质量和表现力。大量实验证实了我们方法的有效性。
  • 作者讲解
  • 解决问题
    论文旨在设计Lodge网络,以生成与给定音乐相关的极长舞蹈序列。该方法能够在全局和局部层面上生成具有表现力的舞蹈动作,解决了长序列生成的挑战。
  • 关键思路
    Lodge网络采用了两阶段的扩散架构,将全局扩散和局部扩散结合起来生成舞蹈序列。同时,论文提出了特征舞蹈原语作为中间表示,用于指导局部扩散生成具体动作。
  • 其它亮点
    论文设计了Foot Refine Block来优化脚与地面的接触,增强动作的物理真实感。实验结果表明,Lodge网络能够生成极长的舞蹈序列,并在全局和局部层面上保持表现力和质量。
  • 相关研究
    在长序列生成方面,目前已有一些相关研究,如SeqGAN、Transformer-XL等。在舞蹈生成方面,也有一些相关工作,如Dance Revolution、DanceNet等。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问