Real-time Animation Generation and Control on Rigged Models via Large Language Models

我们介绍了一种新颖的方法，可以使用自然语言输入实时控制和生成带有骨骼模型的动画。首先，我们在Unity中嵌入了一个大型语言模型（LLM），以输出可以解析为多样化和逼真动画的结构化文本。其次，我们展示了LLM的潜力，可以使现有动画之间实现灵活的状态转换。我们通过各种带有骨骼模型和动作的定性结果展示了我们方法的鲁棒性。

论文旨在通过自然语言输入实现对有骨骼模型的实时动画控制和生成，解决动画生成的灵活性和效率问题。

论文提出了在Unity中嵌入大型语言模型（LLM）以输出结构化文本的方法，以实现多样化和逼真的动画生成。同时，通过LLM实现现有动画之间的灵活状态转换。

论文通过多个有骨骼模型和动作的定性实验展示了方法的鲁棒性和有效性。此外，论文还提出了一种基于LLM的动画生成框架，可以在不同的数据集上进行自适应训练。

在这个领域中，已有一些研究关注于基于自然语言输入的动画生成。例如，标题为《Natural Language Processing for Video Content Analysis》和《Real-Time Animation of Cartoon Characters Using Natural Language》的论文。