LM2D: Lyrics- and Music-Driven Dance Synthesis

2024年03月14日
  • 简介
    跳舞通常涉及专业编舞,包括复杂的动作,遵循音乐节奏,也可能受歌词内容的影响。除了听觉维度外,歌词的整合丰富了基础语调,使动作生成更易于语义意义。然而,现有的舞蹈合成方法往往只建模音频信号条件下的动作。在这项工作中,我们提出了LM2D,一种新颖的概率架构,将多模式扩散模型与一致性蒸馏相结合,旨在通过一次扩散生成步骤创建同时以音乐和歌词为条件的舞蹈。其次,我们介绍了第一个包括音乐和歌词的3D舞蹈运动数据集,该数据集是通过姿势估计技术获得的。我们使用客观指标和人类评估(包括舞者和编舞者)对我们的模型进行评估,与仅音乐的基线模型进行比较。结果表明,LM2D能够生成符合歌词和音乐的逼真且多样化的舞蹈。可以通过以下链接访问视频摘要:https://youtu.be/4XCgvYookvA。
  • 图表
  • 解决问题
    本论文旨在解决现有舞蹈合成方法仅基于音频信号生成舞蹈的问题,提出一种结合音乐和歌词生成舞蹈的新方法。为此,作者还构建了一个包含音乐和歌词的三维舞蹈数据集。
  • 关键思路
    论文提出了一种新的概率架构LM2D,将多模态扩散模型和一致性蒸馏相结合,能够在一个扩散生成步骤中生成同时基于音乐和歌词的舞蹈。
  • 其它亮点
    论文介绍了一个新的三维舞蹈数据集,用于评估模型的性能。作者使用客观指标和人工评估对模型进行了评估,并与仅基于音乐的基线模型进行了比较。实验结果表明,LM2D能够生成与音乐和歌词匹配的逼真且多样化的舞蹈。
  • 相关研究
    在相关研究方面,最近的一些相关论文包括:'Dance Dance Generation: Music Conditioned 3D Dance Generation with GANs'和'Learning to Dance with a Machine: A Review of Recent Developments in AI-based Dance Generation'。
许愿开讲
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论