DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models

本文介绍了DreaMoving，一个基于扩散的可控视频生成框架，用于生成高质量的定制人类舞蹈视频。具体来说，给定目标身份和姿势序列，DreaMoving可以生成目标身份在任何地方跳舞的视频，由姿势序列驱动。为此，我们提出了一个视频控制网络来控制运动，以及一个内容指南者来保持身份。所提出的模型易于使用，可适应大多数风格化扩散模型以生成多样化的结果。项目页面可在https://dreamoving.github.io/dreamoving上找到。

本论文旨在提出一种基于扩散的可控视频生成框架，用于生成高质量的定制化人类舞蹈视频。具体来说，给定目标身份和姿势序列，DreaMoving可以生成一个目标身份在任何地方跳舞的视频，由姿势序列驱动。

本文提出了一个运动控制的Video ControlNet和一个身份保护的Content Guider，用于生成高质量的定制化人类舞蹈视频。该模型易于使用，并可适应于大多数风格化扩散模型以生成多样化的结果。

本文提出的DreaMoving框架可以生成高质量的定制化人类舞蹈视频，具有较高的可控性。实验中使用了多个数据集进行验证，包括人体姿势数据集和舞蹈视频数据集。此外，该项目还提供了开源代码和预训练模型。

最近的相关研究包括：1）基于深度学习的人类舞蹈生成；2）姿势控制的视频生成；3）基于扩散的图像生成。相关论文包括：1）Learning to Dance with a Teacher；2）Dancing to Music: A Pose-Conditioned Music-Driven Dance Generation Framework；3）Diffusion Models Beat GANs on Image Synthesis