Safe and Robust Reinforcement Learning: Principles and Practice

强化学习（RL）在解决相对复杂的任务方面表现出了显著的成功，但在现实世界中部署RL系统会面临与安全和稳健性相关的重大挑战。本文旨在通过探索安全和稳健RL领域的主要维度（包括算法、伦理和实践考虑）来识别和进一步了解这些挑战。我们对方法学和开放问题进行了全面的回顾，总结了近年来应对RL应用固有风险的努力。在讨论和提出安全和稳健RL的定义后，本文将现有的研究工作分类为不同的算法方法，以增强RL代理的安全性和稳健性。我们研究了诸如不确定性估计、优化方法、探索-利用权衡和对抗训练等技术。还审查了环境因素，包括模拟到真实的转移和领域适应，以了解RL系统如何适应不同和动态的环境。此外，人类参与是分析的一个重要组成部分，承认了人类在这个背景下可以扮演的广泛角色。重要的是，为了帮助从业人员在导航安全和稳健RL实现的复杂性方面，本文介绍了一个实用的清单，该清单源自综合文献。清单包括算法设计、培训环境考虑和伦理准则的关键方面。它将成为开发人员和政策制定者的资源，以确保在许多应用领域负责任地部署RL系统。

安全和鲁棒的强化学习系统在实际应用中面临的挑战是什么？如何解决这些挑战？

论文提出了一份实用的清单，包括算法设计、训练环境考虑和伦理指南等关键方面，以帮助从业者在实际应用中负责任地部署强化学习系统。

论文对增强学习的安全和鲁棒性进行了全面的研究，包括不确定性估计、优化方法、探索-利用平衡和对抗训练等技术。此外，还探讨了环境因素，如模拟到现实的转移和域自适应，以及人类参与的角色。

相关研究包括“Safe Reinforcement Learning via Shielding”、“Robust Adversarial Reinforcement Learning”和“Adversarial Policies: Attacking Deep Reinforcement Learning”等。