DisCo: Disentangled Control for Referring Human Dance Generation in Real World

T Wang, L Li, K Lin, C Lin, Z Yang, H Zhang, Z Liu, L Wang
[Microsoft Azure AI & Nanyang Technological University]

DisCo:现实世界基于解缠控制的引用人类舞蹈生成

  • 动机:解决现有的人类舞蹈合成方法在生成内容与真实世界舞蹈场景之间的差距问题。现有的舞蹈合成方法在生成内容与真实世界舞蹈场景之间存在差距,因此提出了一种新的问题设定:指向性人类舞蹈生成,该问题设定关注真实世界的舞蹈场景,并具有三个重要属性:真实性、泛化性和组合性。
  • 方法:提出一种名为DISCO的新方法,包括一种具有解耦控制的新模型架构,以提高舞蹈合成的真实性和组合性,以及一种有效的人体属性预训练方法,以提高对未见过的人体的泛化能力。
  • 优势:DISCO可以生成高质量的人类舞蹈图像和视频,具有多样化的外观和灵活的动作。此外,DISCO还可以通过仅修剪或重加权检索语料库,而无需进一步训练,就可以提高大型语言模型的性能。


提出一种名为DISCO的新方法,通过解耦控制和人体属性预训练,能生成高质量、多样化和灵活的人类舞蹈图像和视频。

https://arxiv.org/abs/2307.00040 


图片
图片
图片

内容中包含的图片若涉及版权问题,请及时与我们联系删除