Variational Autoencoders for exteroceptive perception in reinforcement learning-based collision avoidance

现代控制系统越来越倾向于使用机器学习算法来增强其性能和适应性。在这个背景下，深度强化学习（DRL）已经成为一个有前途的控制框架，特别是在海洋运输领域。它在自主海洋应用方面的潜力在于其能够将路径跟踪和避碰与任意数量的障碍物无缝结合。然而，与可搜索参数空间变大时提出的控制问题相比，当前的DRL算法需要 disproportional 大的计算资源来找到接近最优的策略。为了解决这个问题，我们的工作探讨了变分自编码器（VAEs）在获取高保真度测距传感器的广义低维潜在编码方面的应用，该编码作为DRL代理的外部输入。代理的性能，包括路径跟踪和避碰，经过系统地测试和评估，在随机模拟环境中呈现了我们提出的海洋控制系统方法的全面探索。

论文旨在通过应用变分自编码器（VAE）获取高保真测距传感器的广义低维潜在编码，以解决当前深度强化学习（DRL）算法在大规模可搜索参数空间中需要过多计算资源的问题。

使用VAE获取传感器的低维潜在编码，将其作为DRL代理的输入，以实现路径跟踪和避碰。

论文通过在随机仿真环境中对DRL代理的表现进行系统测试和评估，提出了一种新的在海事控制系统中应用DRL的方法。论文的亮点包括使用VAE获取传感器的低维潜在编码、实现路径跟踪和避碰、系统测试和评估。

最近在这个领域中，还有一些相关的研究，例如“Deep Reinforcement Learning for Autonomous Maritime Collision Avoidance”，“A Deep Reinforcement Learning Approach to Autonomous Vessel Control”，“A Deep Reinforcement Learning Based Collision Avoidance Strategy for Unmanned Surface Vehicles”。