【标题】Sim-to-Lab-to-Real: Safe Reinforcement Learning with Shielding and Generalization Guarantees

【作者团队】Kai-Chieh Hsu, Allen Z. Ren, Duy Phuong Nguyen, Anirudha Majumdar, Jaime F. Fisac

【发表日期】2022.1.20

【论文链接】https://arxiv.org/pdf/2201.08355.pdf

【推荐理由】安全是自主系统的关键组成部分，并且仍然是在现实世界中使用基于学习的策略的挑战。特别是，由于不安全的行为，使用强化学习学习的策略通常无法推广到新环境。本文提出 Sim-to-Lab-to-Real 以安全地缩小现实差距。为了提高安全性，其采用了双重策略设置，其中使用累积任务奖励训练性能策略，并通过解决基于 Hamilton-Jacobi 可达性分析的范围避免贝尔曼方程来训练备份（安全）策略。在 Sim-to-Lab 转换中，通过采用监控方案来屏蔽探索过程中的不安全行为；在Lab-to-Real中，通过采用可能近似正确 (PAC)-Bayes 框架来提供未知环境中策略的预期性能和安全性的下限。实证研究表明在两种室内环境中提出的自我视觉导航框架，包括照片真实感环境。并通过四足机器人在真实室内空间中的硬件实验展示了强大的泛化性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除