RALLY: Role-Adaptive LLM-Driven Yoked Navigation for Agentic UAV Swarms

无人机（UAV）群体的智能控制已成为一个关键的研究重点，通常要求群体在避开障碍物的同时有效导航，并对多个任务目标实现持续覆盖。尽管传统的多智能体强化学习（MARL）方法具有动态适应能力，但由于数值通信中的语义鸿沟以及同质化角色结构的僵化性，导致其泛化能力差、任务扩展性受限。近年来基于大语言模型（LLM）的控制框架通过利用大量先验知识展现了强大的语义推理能力。然而由于缺乏在线学习能力和过度依赖静态先验知识，这些方法在有效探索方面常常存在困难，从而限制了个体潜力和整体系统性能的发挥。为了解决上述局限性，我们提出了一种角色自适应的LLM驱动协同导航算法RALLY。具体而言，我们首先构建了一个基于LLM的语义决策框架，采用结构化的自然语言实现高效的语义通信与协同推理。随后引入一种动态角色异构机制，以支持自适应的角色切换与个性化决策。此外，我们还提出了一种基于角色价值混合网络（RMIX）的任务分配策略，将LLM的离线先验知识与MARL的在线策略相结合，实现角色选择策略的半离线训练。在多智能体粒子环境（MPE）和软件在环（SITL）平台上的实验表明，RALLY在任务覆盖率、收敛速度和泛化能力方面均优于传统方法，显示出其在多无人机系统协同导航中具有广阔的应用潜力。

论文试图解决无人机（UAV）群体在复杂环境中进行协同导航时的语义通信障碍和角色结构僵化问题，以及传统多智能体强化学习方法（MARL）在泛化性和任务扩展性方面的不足。同时，基于大语言模型（LLM）的方法虽然具备强语义推理能力，但在线学习能力弱、依赖静态先验知识，导致探索效率低和整体性能受限。

提出了一种名为RALLY的角色自适应LLM驱动协同导航算法，结合了LLM的语义推理能力和MARL的在线决策能力。其核心创新包括：1）基于自然语言的结构化语义通信框架；2）动态角色异构机制实现个性化决策与角色切换；3）RMIX网络融合LLM离线先验与MARL在线策略，实现半离线训练。相比传统方法，该思路显著提升了系统的可解释性、泛化性和任务扩展性。

1. 设计了一个基于语义的协作决策框架，利用自然语言促进高效通信和联合推理 2. 引入动态角色机制，支持个体行为差异化和角色自适应调整 3. 通过RMIX网络将LLM的先验知识与MARL策略融合，实现更高效的策略训练 4. 实验在MPE环境和SITL平台验证了方法在任务覆盖率、收敛速度和泛化能力上的优势 5. 为未来研究LLM与多智能体系统融合提供了新方向

1. Multi-Agent Reinforcement Learning: A Survey and Recent Advances (2022) 2. Language Models as Agents: A Comprehensive Review (2023) 3. Swarm Intelligence in UAV Networks: Challenges and Future Trends (2024) 4. Semantic Communication for Multi-Agent Systems: Integrating Language and Perception (2023) 5. Role Assignment in Multi-Agent Reinforcement Learning: A Hierarchical Approach (2022)