Flexible Motion In-betweening with Diffusion Models

运动插值是角色动画中的基本任务之一，它包括生成运动序列，这些序列可以合理地插值用户提供的关键帧约束。长期以来，这一过程一直被认为是一项需要大量劳动力和具有挑战性的工作。我们研究了扩散模型在生成由关键帧指导的多样化人体运动方面的潜力。与以往的插值方法不同，我们提出了一个简单的统一模型，能够生成精确而多样化的运动，符合用户指定的一系列灵活的空间约束和文本条件。为此，我们提出了有条件的运动扩散插值（CondMDI），它允许任意密集或稀疏的关键帧放置和部分关键帧约束，同时生成高质量的、多样化的、与给定关键帧一致的运动。我们在文本条件下评估了CondMDI在HumanML3D数据集上的性能，并展示了扩散模型在关键帧插值方面的多样性和功效。我们进一步探讨了在推理时基于指导和插值的方法，并将CondMDI与这些方法进行比较。

本文旨在探索扩散模型在生成人体运动的过程中的潜力，通过提出一种新的方法来解决传统的in-betweening方法中存在的问题，如大量耗时、难以生成多样化的动作等。

本文提出了一种新的方法Conditional Motion Diffusion In-betweening (CondMDI)，该方法可以在任意密集或稀疏的关键帧放置和部分关键帧约束的情况下生成高质量、多样化的动作，并且可以根据文本条件进行生成。

本文的实验使用了文本条件的HumanML3D数据集，并通过比较CondMDI与其他基于指导和填充的方法的表现，证明了CondMDI的多样性和有效性。此外，本文还探讨了推理时间关键帧的指导和填充方法，并提出了一些值得深入研究的工作。

在这个领域中，最近的相关研究包括：'Learning to Animate from a Single Pose with Dynamic Frame Skipping'，'Motion Field Networks: Modeling Spatial Dependencies for Human Motion Prediction and Classification'，'Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks'等。