Satellites swarm cooperation for pursuit-attachment tasks with transformer-based reinforcement learning

卫星群的轨道智能规划已经引起了学者们越来越多的关注。特别是在追逐和附着非合作卫星等任务中，卫星群必须在有限的资源下实现协调合作。该研究提出了一个强化学习框架，该框架集成了Transformer和专家网络。首先，在对非合作卫星的不完全信息的约束下，使用通信共享机制设计了一个隐式的多卫星协作策略。随后，针对追逐-附着任务的特点，引入了受迁移学习思想启发的Transformer和专家网络，改进了多智能体强化学习框架。为了解决卫星群可扩展性问题，利用基于Transformer的序列建模来制定记忆增强策略网络，同时提高了卫星群的可扩展性。通过与其他算法的收敛曲线进行比较，表明所提出的方法适用于卫星群的追逐-附着任务。此外，分别在非合作卫星的不同机动策略下进行模拟，证明了算法的鲁棒性和卫星群系统的任务效率。通过蒙特卡罗模拟分析了追逐-附着任务的成功率。

研究提出了一种基于强化学习的框架，以解决卫星群追击和附着任务中的多卫星协作问题。

论文提出了一个融合transformer和专家网络的强化学习框架，通过序列建模和记忆增强策略网络来提高卫星群的可扩展性。

论文通过模拟实验验证了该方法在卫星群追击和附着任务中的有效性和鲁棒性，并分析了任务成功率。值得关注的是，该方法的可扩展性得到了提高，并且使用了通信共享机制来解决非合作卫星信息不完整的问题。

最近的相关研究包括：'A Survey of Multi-Agent Reinforcement Learning'、'Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms'、'A Comprehensive Survey on Safe Reinforcement Learning'等。