An open source Multi-Agent Deep Reinforcement Learning Routing Simulator for satellite networks

本文介绍了一个用于低轨卫星星座（LSatCs）数据包路由的开源模拟器，考虑到动态系统的不确定性。该模拟器使用Python实现，支持传统的Dijkstra基于路由的解决方案，以及我们先前工作中的更高级的学习解决方案，特别是Q-Routing和多智能体深度强化学习（MA-DRL）。它使用SimPy模块的基于事件的方法，准确模拟数据包的创建、路由和排队，提供队列和延迟的实时跟踪。该模拟器高度可配置，允许在路由策略、流量、地面和空间层拓扑、通信参数和学习超参数等方面进行调整。关键功能包括可视化系统运动和跟踪数据包路径的能力。结果显示，与传统方法相比，基于强化学习（RL）的路由策略可以显著提高端到端（E2E）延迟。源代码、文档和带有后处理结果和分析的Jupyter笔记本在GitHub上提供。

本论文旨在解决低地球轨道卫星星座（LSatCs）中数据包路由的问题，特别是考虑到动态系统不确定性。同时，论文还试图验证使用强化学习（RL）路由策略相比传统方法能够显着提高端到端（E2E）延迟的假设。

论文提出了一个基于Python实现的开源模拟器，支持传统的Dijkstra路由算法以及更先进的学习方法，尤其是Q-Routing和多智能体深度强化学习（MA-DRL），使用SimPy模块的事件驱动方法来准确模拟数据包的创建、路由和排队过程，并提供队列和延迟的实时跟踪。该模拟器具有高度的可配置性，可以调整路由策略、流量、地面和空间层拓扑结构、通信参数和学习超参数等。关键特点包括能够可视化系统运动并跟踪数据包路径。

论文的亮点包括使用强化学习（RL）路由策略相比传统方法显着提高端到端（E2E）延迟的结果，同时提供了开源的源代码、文档和一个带有后处理结果和分析的Jupyter笔记本。实验设计合理，使用了SimPy模块的事件驱动方法来准确模拟数据包的创建、路由和排队过程，并提供队列和延迟的实时跟踪，为后续的研究提供了很好的参考。

最近在这个领域中，还有一些相关的研究，例如“Low Earth Orbit Satellite Networks: A Review”、“A Survey of Routing Protocols in Low Earth Orbit Satellite Networks”等。