Deep Reinforcement Learning-based Large-scale Robot Exploration

本文提出了一种基于深度强化学习（DRL）的反应式规划器，用于解决基于激光雷达的大规模自主机器人探索问题，其动作空间为2D。我们的DRL规划器允许代理根据对环境潜在转移模型的学习估计，对未知区域进行隐式预测，从而反应性地规划探索路径。为此，我们的方法依赖于学习的注意机制，因为它们具有在不同空间尺度上捕捉长期依赖性以推理机器人对已知区域的整个信念的强大能力。我们的方法依赖于地面真实信息（即特权学习）来指导训练期间的环境估计，以及图稀疏化算法，该算法允许在小规模环境中训练的模型扩展到大规模环境。模拟结果表明，在130m x 100m的基准场景中，我们的模型展现出更好的探索效率（路径长度减少12％，完成时间减少6％）和更低的规划时间（减少60％）比最先进的规划器。我们还在硬件上验证了我们的学习模型。

本文旨在提出一种基于深度强化学习的反应式规划器，以解决大规模基于激光雷达的自主机器人探索问题。

本文提出的DRL-based规划器可以通过对环境的学习来隐式预测未知区域，从而使机器人具有反应式规划探索路径的能力。

本文使用了学习的注意机制来捕捉不同空间尺度上的长期依赖关系，以推断机器人对已知区域的整体信念。使用了地面真实信息来指导训练，并使用图稀疏化算法使小规模环境训练的模型能够扩展到大规模环境。实验结果表明，在130m x 100m基准场景中，与现有规划器相比，本文模型展现出更好的探索效率（路径长度减少12％，makespan减少6％）和更低的规划时间（降低60％）。作者还在硬件上验证了他们的学习模型。

近期的相关研究包括：1. Scalable exploration by learning a coverage map with deep reinforcement learning; 2. A survey of exploration strategies in robotics; 3. Autonomous exploration and mapping of unknown environments with variable density random walks.