Reinforcement Learning-based Receding Horizon Control using Adaptive Control Barrier Functions for Safety-Critical Systems

最优控制方法提供了解决安全关键问题的解决方案，但很容易变得棘手。控制屏障函数（CBF）已经成为一种流行的技术，通过其前向不变性特性，以保证安全为代价，便于解决这些问题。这种方法涉及定义一个性能目标以及必须始终执行的基于CBF的安全约束。不幸的是，两个关键因素可以显著影响性能和解决可行性：（i）成本函数和相关参数的选择，以及（ii）CBF约束中参数的校准，这些约束捕捉了性能和保守性之间的权衡，以及不可行性。为了解决这些挑战，我们提出了一种基于强化学习（RL）的滚动视界控制（RHC）方法，利用带有CBF的模型预测控制（MPC-CBF）。特别地，我们对控制器进行参数化，并使用双层优化，其中RL用于学习最优参数，而MPC计算最优控制输入。我们通过将其应用于冲突道路上的连接和自动化车辆（CAV）的具有挑战性的自动合并控制问题来验证我们的方法。结果表明，与用于调整基于CBF的控制器的传统启发式方法相比，该方法表现出改进的性能和显著减少的不可行情况，展示了该方法的有效性。

论文旨在解决控制方法在安全性和可行性之间的权衡问题，提出了一种基于控制屏障函数（CBFs）的强化学习（RL）和模型预测控制（MPC）的重叠控制方法。

该方法使用双层优化，其中RL用于学习最优参数，而MPC计算最优控制输入，并在CBF约束中捕捉性能和保守性之间的权衡。

论文通过将该方法应用于自动化合并控制问题，展示了相比传统启发式方法，该方法在性能和可行性方面的显著改进。该方法还可以通过提高CBF性能参数的准确性来进一步提高性能。

与此相关的研究包括使用CBFs的控制方法，以及使用RL和MPC的控制方法。