Spectral-Risk Safe Reinforcement Learning with Convergence Guarantees

风险约束强化学习（RCRL）领域的发展旨在通过明确处理基于风险度量的约束条件，有效降低最坏情况的可能性。然而，风险度量的非线性使得实现收敛和最优性变得具有挑战性。为了克服非线性带来的困难，我们提出了一种谱风险度量约束的RL算法，谱风险约束策略优化（SRCPO），这是一种利用谱风险度量的对偶性的二层优化方法。在二层优化结构中，外部问题涉及优化从风险度量中导出的对偶变量，而内部问题涉及在给定这些对偶变量的情况下找到最优策略。据我们所知，所提出的方法是在表格设置中保证收敛到最优的第一种方法。此外，该方法已在连续控制任务上进行评估，并在满足约束条件的其他RCRL算法中表现最佳。

解决问题：论文旨在通过处理风险度量约束来减少最坏情况的可能性，提出了一种新的风险约束强化学习算法。

关键思路：论文提出了一种双层优化的方法，利用谱风险度量的对偶性来处理风险度量的非线性问题，从而实现了收敛和最优性。

其他亮点：该方法在标签设置下保证了收敛到最优解，且在连续控制任务中表现最佳。实验使用了开源代码和数据集。

相关研究：最近的研究包括“Risk-Sensitive Reinforcement Learning with Percentile Risk Criteria”和“Constrained Policy Optimization with Neural Network Ensembles”。