On Safety in Safe Bayesian Optimization

在机器人技术、生物医学工程等许多领域中，优化一个未知函数并在安全约束下进行是一项核心任务，越来越多地使用安全贝叶斯优化（BO）来完成。由于这些应用的安全性至关重要，因此这些算法的理论安全保证必须转化为现实世界中的安全性。在这项工作中，我们研究了流行的SafeOpt类型算法的三个与安全相关的问题。首先，这些算法严重依赖于高斯过程（GP）回归的频率不确定性界限，但具体实现通常使用启发式方法，这些方法使所有安全保证无效。我们对这个问题进行了详细的分析，并引入了Real-eta-SafeOpt，这是SafeOpt算法的一个变体，利用了最近的GP界限，因此保留了所有理论保证。其次，我们确定了SafeOpt类算法中的一个关键技术假设，即假设目标函数的再生核希尔伯特空间（RKHS）范数的上界，是实际应用的一个中心障碍。为了克服这个挑战，我们引入了仅利普希茨函数的安全贝叶斯优化（LoSBO）算法，它可以在没有RKHS范数假设的情况下保证安全，并通过实验证明，与现有的一些函数类别相比，该算法不仅安全，而且性能更优。第三，SafeOpt和派生算法依赖于离散的搜索空间，使得它们难以应用于高维问题。为了扩大这些算法的适用范围，我们引入了仅利普希茨高斯过程-UCB（LoS-GP-UCB），这是LoSBO的一个变体，适用于中等高维问题，同时保持安全性。

论文旨在解决安全约束下的优化问题，探讨了SafeOpt算法的三个与安全相关的问题。这些问题包括：频率不确定性界限的使用、假设目标函数的再生核希尔伯特空间（RKHS）范数上限和在离散搜索空间中的应用限制。

论文提出了三种算法：Real-eta-SafeOpt，Lipschitz-only Safe Bayesian Optimization（LoSBO）和Lipschitz-only GP-UCB（LoS-GP-UCB），以解决SafeOpt算法的问题。这些算法利用了最新的高斯过程边界，避免了使用启发式方法，不需要假设RKHS范数上限，并且可以应用于中等维度的问题。

论文的实验表明，LoSBO算法在多个函数类上不仅是安全的，而且性能优于现有技术。此外，论文还提供了开源代码。与其他相关工作相比，该论文提出的算法在实际应用中具有更高的安全性和性能。

与此论文相关的研究包括：Bayesian Optimization with Safety Constraints Using a Mixture of Experts，Safe Exploration of State and Action Spaces in Reinforcement Learning，Safe Reinforcement Learning via Shielding。