MotionFix: Text-Driven 3D Human Motion Editing

本文的重点是3D运动编辑。我们的目标是在给定3D人体运动和所需修改的文本描述的情况下，生成一个按照文本描述进行编辑的运动。挑战包括缺乏训练数据和设计一个能够忠实地编辑源运动的模型。在本文中，我们解决了这两个挑战。我们构建了一种方法来半自动收集三元组数据集，包括（i）源运动，（ii）目标运动和（iii）编辑文本，并创建了新的MotionFix数据集。有了这样的数据，我们可以训练一个条件扩散模型TMED，它将源运动和编辑文本作为输入。我们进一步构建了各种基线，仅基于文本-运动对数据集进行训练，并展示了我们的模型在三元组训练上的卓越性能。我们引入了新的基于检索的运动编辑指标，并在MotionFix的评估集上建立了一个新的基准。我们的结果是令人鼓舞的，为进一步的细粒度运动生成研究铺平了道路。代码和模型将公开提供。

本论文旨在解决3D动作编辑的问题，即如何根据文本描述对3D人体动作进行修改。同时，论文还要解决数据不足和模型设计的问题。

论文的关键思路是通过半自动方式收集三元组数据，包括源动作、目标动作和编辑文本，从而创建新的数据集MotionFix。在此基础上，使用条件扩散模型TMED对源动作和编辑文本进行训练，实现对3D动作的编辑。

论文使用新的检索式指标对动作编辑进行评估，并在MotionFix的评估集上建立了新的基准。论文还介绍了各种基线模型，并展示了在三元组数据集上训练的模型的优越性。此外，论文还提供了代码和模型。

在这个领域中，最近的相关研究包括：《Learning to Dress 3D People in Generative Clothing》、《MoVi: A Large-scale Motion and Video Dataset》、《Dense Regression Network for Video-based 3D Human Pose Estimation》等。