StableMoFusion: Towards Robust and Efficient Diffusion-based Motion Generation Framework

由于扩散模型具有强大的生成能力，近年来人类运动生成取得了快速的进展。现有的基于扩散的方法采用不同的网络架构和训练策略，每个组件的设计效果仍不清楚。此外，迭代去噪过程消耗了相当大的计算开销，这对虚拟角色和人形机器人等实时场景是禁制的。因此，我们首先对网络架构、训练策略和推理过程进行了全面的调查。基于深入的分析，我们为高效高质量的人类运动生成量身定制了每个组件。尽管表现很有前途，但定制模型仍然存在普遍问题——足部滑动。为了消除足部滑动，我们识别了脚地接触，并在去噪过程中纠正脚的运动。通过有机地将这些精心设计的组件组合在一起，我们提出了一个稳健高效的人类运动生成框架StableMoFusion。广泛的实验结果表明，我们的StableMoFusion表现优于当前最先进的方法。项目页面：https://h-y1heng.github.io/StableMoFusion-page/

本论文旨在解决人类动作生成中存在的足部滑动问题，并提出了一个高效稳定的解决方案。

本论文通过对网络架构、训练策略和推理过程进行全面研究，设计了一个高效稳定的人类动作生成框架StableMoFusion，并通过识别脚地接触并在去噪过程中纠正脚部运动来消除足部滑动问题。

本论文的亮点包括：1. 全面研究了网络架构、训练策略和推理过程，提出了高效稳定的人类动作生成框架；2. 通过识别脚地接触并在去噪过程中纠正脚部运动来消除足部滑动问题；3. 在多个数据集上进行了实验，并与当前最先进的方法进行了比较，表现出色。

近期在这个领域的相关研究包括：1.《Denoising Diffusion Probabilistic Models for Human Motion Generation》；2.《Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks》；3.《MoCoGAN: Decomposing Motion and Content for Video Generation》等。