Vanilla Bayesian Optimization Performs Great in High Dimensions

高维问题长期以来一直被认为是贝叶斯优化算法的致命弱点。受到维数灾难的启发，大量算法旨在通过对目标函数施加各种简化假设来提高其在这种情况下的性能。在本文中，我们确定了使普通贝叶斯优化不适合高维任务的退化现象，并进一步展示了现有算法如何通过降低模型复杂度来解决这些退化现象。此外，我们提出了一种增强普通贝叶斯优化算法典型先验假设的方法，该方法在不对目标函数施加结构限制的情况下将复杂度降低到可管理的水平。我们的修改——将高斯过程长度尺度先验与维度简单缩放——揭示出标准贝叶斯优化在高维度下的表现远比以前想象的好，明显优于多个常见的真实高维任务上的现有最先进算法。

高维问题一直被认为是贝叶斯优化算法的致命伤。本文试图解决高维贝叶斯优化的问题。

本文提出了一个简单的高维贝叶斯优化算法改进方案，通过对高斯过程长度尺度先验进行简单缩放，将模型复杂度降低到可管理的水平，从而在多个高维任务上明显优于现有的最先进算法。

本文提出的改进方案在多个高维任务上明显优于现有的最先进算法。实验中使用了多个数据集，并且开源了代码。

目前还有一些相关的研究，如“Scalable Bayesian optimization using deep neural networks”和“Practical Bayesian optimization of machine learning algorithms”等。