Iterative Motion Editing with Natural Language

文本到动作扩散模型可以从文本提示中生成逼真的动画，但不支持精细的运动编辑控制。在本文中，我们提出了一种使用自然语言迭代地指定对现有角色动画进行局部编辑的方法，这是大多数计算机动画工作流程中常见的任务。我们的关键思想是使用一组运动运动编辑算子（MEOs）来表示运动编辑空间，其对源运动的影响与用户期望的一致。我们提供了一个算法，利用预先存在的语言模型将运动编辑的文本描述转换为程序的源代码，该程序定义并执行一系列MEOs序列来编辑源动画。我们通过先将MEOs转换为关键帧约束，然后使用基于扩散的运动模型生成符合这些约束的输出运动来执行MEOs。通过用户研究和定量评估，我们证明了我们的系统可以执行运动编辑，尊重动画师的编辑意图，保持对原始动画的忠实（它编辑原始动画，但不会大幅改变它），并产生逼真的角色动画结果。

本文旨在解决使用自然语言对现有角色动画进行局部编辑的问题，这是计算机动画工作流程中常见的任务，但现有的文本转动画模型并不支持精细的动作编辑控制。

本文提出了一种使用运动学运动编辑算子（MEOs）集来表示运动编辑空间的方法，该算子的效果与用户期望的源动画相一致。通过使用预先存在的语言模型将动作编辑的文本描述转换为程序源代码，我们提供了一种算法来定义和执行一系列MEOs的序列，并通过扩散基于运动模型生成遵守这些约束的输出动作。

本文的亮点包括：1. 通过使用自然语言描述动作编辑，使得计算机动画工作流程更加高效。2. 使用运动学运动编辑算子（MEOs）集来表示运动编辑空间的方法，具有良好的可解释性和可控性。3. 实验结果表明，该系统可以执行符合动画师编辑意图的动作编辑，保持对原始动画的忠实性，并产生逼真的角色动画结果。

在这个领域中，最近的相关研究包括：1.《Text2Scene: Generating Compositional Scenes from Textual Descriptions》2.《Text2Shape: Generating Shapes from Natural Language by Learning Joint Embeddings》3.《Text2Video: Video Generation from Descriptive Texts》等。