CLIPSwarm: Generating Drone Shows from Text Prompts with Vision-Language Models

本文介绍了CLIPSwarm算法，旨在自动建模基于自然语言的群体无人机编队。该算法通过丰富提供的单词，构成文本提示作为输入，采用迭代方法找到最符合提供单词的编队。算法通过“探索”和“开发”等不同步骤，迭代地精化机器人的编队以与文本描述相一致。我们的框架目前仅针对简单的轮廓形状编队目标进行评估。编队通过alpha-shape轮廓进行视觉表示，并自动找到输入单词的最具代表性的颜色。为了衡量描述和编队视觉表示之间的相似性，我们使用CLIP [1]将文本和图像编码为向量并评估它们的相似性。随后，算法重新排列编队以更有效地视觉表示单词，在可用无人机的给定约束条件下。控制动作随后分配给无人机，确保机器人行为和无碰撞运动。实验结果表明，该系统能够准确地从自然语言描述中建模机器人编队。算法的多功能性通过在具有不同形状的逼真模拟中执行无人机表演得到展示。我们建议读者查看补充视频以获得结果的视觉参考。

本论文旨在通过自然语言描述来自动建模群体无人机编队，解决编队建模的困难问题。

CLIPSwarm算法通过对提供的单词进行丰富，生成文本提示，并通过迭代的方式找到最符合文本提示的编队。算法使用CLIP来衡量文本描述和视觉表现之间的相似度，并为无人机分配控制动作，确保机器人行为和无碰撞运动。

论文通过CLIPSwarm算法实现了从自然语言描述到无人机编队的自动建模。在实验中，作者使用了alpha-shape轮廓和自动找到的最具代表性的颜色来表示编队。作者还展示了算法的灵活性，通过在逼真的模拟中执行无人机表演来展示不同形状的编队。论文提供了衡量文本和图像相似度的新方法，同时为无人机编队的控制行为提供了解决方案。

最近在这个领域中，有一些相关的研究，如使用深度强化学习来控制无人机编队的研究（'Deep Reinforcement Learning for Swarm Drone Formation Control'），以及使用多智能体强化学习来实现无人机编队的研究（'Multi-Agent Reinforcement Learning for Swarm Drone Formation Control'）。