CrowdMoGen: Zero-Shot Text-Driven Collective Motion Generation

人群运动生成对于娱乐产业如动画和游戏以及战略领域如城市模拟和规划至关重要。这项新任务需要将控制和生成复杂地整合起来，以在特定的空间和语义约束下合理地合成人群动态，其挑战尚未完全探索。一方面，现有的人类运动生成模型通常关注个体行为，忽略了集体行为的复杂性。另一方面，最近的多人运动生成方法严重依赖于预定义的情景，并且仅限于有限数量的人际互动，因此限制了它们的实用性。为了克服这些挑战，我们介绍了CrowdMoGen，这是一个零样本文本驱动的框架，利用大型语言模型（LLM）的能力将集体智慧融入运动生成框架中作为指导，从而实现了人群运动的可扩展性和通用性的规划和生成，而不需要成对的训练数据。我们的框架由两个关键组件组成：1）人群场景规划器，根据特定的场景上下文或引入的扰动学习协调运动和动态，以及2）集体运动生成器，根据整体计划高效地合成所需的集体运动。广泛的定量和定性实验已经验证了我们框架的有效性，它不仅填补了提供可扩展和通用的人群运动生成解决方案的重要空白，而且实现了高度的真实感和灵活性。

论文旨在解决群体运动生成中的挑战，即如何在特定的空间和语义约束下综合控制和生成群体动态，同时实现可扩展性和泛化性。

论文提出了一种基于大型语言模型（LLM）的零样本文本驱动框架CrowdMoGen，通过将群体智能作为指导，实现了可扩展和泛化的群体运动规划和生成。

CrowdMoGen框架包括两个关键组件：Crowd Scene Planner和Collective Motion Generator。实验结果表明，该框架不仅填补了群体运动生成领域的关键空白，而且在灵活性和逼真度方面取得了较高的水平。

相关研究包括基于个体行为的人类运动生成模型和基于预定义场景的多人运动生成方法。