Equivariant Ensembles and Regularization for Reinforcement Learning in Map-based Path Planning

在强化学习中，利用环境对称性可以显著提高效率、鲁棒性和性能。然而，确保深度强化学习策略和价值网络分别等变和不变以利用这些对称性是一个重大挑战。相关工作试图通过构建等变和不变的网络来设计网络，但这限制了它们使用的组件库，从而影响了网络的表达能力。本文提出了一种构建等变策略和不变价值函数的方法，无需专门的神经网络组件，我们称之为等变集合。我们进一步添加了一个正则化项来增加训练期间的归纳偏差。在一个基于地图的路径规划案例研究中，我们展示了等变集合和正则化如何有益于样本效率和性能。

论文提出了一种构建等变策略和不变价值函数的方法，以利用环境对称性来增强强化学习的效率、鲁棒性和性能。

论文提出了一种称为等变集合的方法，可以构建等变策略和不变价值函数，而无需专门的神经网络组件。此外，还引入了正则化项以增加归纳偏差。

论文在地图路径规划的案例研究中展示了等变集合和正则化如何提高样本效率和性能。

与本文相关的研究包括使用构造等变神经网络的方法来利用对称性的研究，以及在强化学习中使用正则化的研究。