Flexible Motion In-betweening with Diffusion Models

本文探讨了扩散模型在生成人物动画中的应用，这是一项基本任务，旨在生成能够合理插值用户提供的关键帧约束的运动序列。这项任务长期以来一直被认为是一项费力且具有挑战性的过程。与以往的插帧方法不同，本文提出了一个简单的统一模型，能够生成符合用户指定的空间约束范围和文本条件的精确且多样化的运动。为此，我们提出了有条件的运动扩散插帧（CondMDI），允许任意密集或稀疏的关键帧放置和部分关键帧约束，同时生成与给定关键帧相一致的高质量、多样化的运动。我们在文本条件的HumanML3D数据集上评估了CondMDI的性能，并展示了扩散模型在关键帧插值中的多功能性和有效性。我们进一步探讨了在推理时基于指导和填补的方法用于关键帧插值，并将CondMDI与这些方法进行了比较。

本论文旨在解决角色动画中的关键帧插值问题，提出了一种基于扩散模型的条件运动插值方法，旨在生成符合用户提供的关键帧约束的多样化人体动作序列。

论文提出了一种简单的统一模型，能够生成精确且多样化的动作，符合用户指定的空间约束和文本条件，可以在任意密集或稀疏的关键帧放置和部分关键帧约束下生成高质量的动作序列。

论文在文本条件下评估了CondMDI的性能，并展示了扩散模型在关键帧插值中的多样性和有效性。论文还探讨了指导和填充式方法在推理时关键帧插值的应用，并将CondMDI与这些方法进行了比较。

与此相关的最近研究包括《Motion Transfer via Style-Controllable CycleGAN-based Network》、《Neural State Machine for Character-Scene Interactions》等。