An Invariant Information Geometric Method for High-Dimensional Online Optimization

在优化中，样本效率是至关重要的，特别是在昂贵评估和零阶反馈的黑盒场景中。当计算资源充足时，贝叶斯优化通常优于进化策略。在本文中，我们介绍了一种完全基于不变性的进化策略算法，它源自其相应的框架，并在贝叶斯能力的上限维度任务中有效地与领先的贝叶斯优化方法竞争。具体而言，我们首先构建了完全融合历史信息并保留完全不变性和计算复杂性的框架InvIGO。然后，我们在多维高斯上演示了InvIGO，得到了一个不变且可扩展的优化器SynCMA。我们进一步分析了我们的算法相对于其他基于高斯的进化策略的理论行为和优势。最后，我们在各种高维任务中对SynCMA进行了基准测试，包括Mujoco运动任务、漫游器规划任务和合成函数。在所有场景中，SynCMA在样本效率上表现出极高的能力，甚至超过其他算法，显示了面向性质的进化策略的未开发潜力。

本文旨在解决在黑盒场景中，计算资源有限的情况下，如何提高优化的样本效率。具体来说，作者试图比较全不变进化策略算法和贝叶斯优化方法在高维任务上的表现。

本文提出了一个全不变进化策略算法框架InvIGO，并在此基础上构建了一个多维高斯的不变且可扩展的优化器SynCMA。相较于当前的高斯进化策略算法，SynCMA 保留了完整的不变性和计算复杂度，有效地提高了样本效率。

本文的亮点在于提出了全不变进化策略算法框架InvIGO及其衍生的优化器SynCMA，可以有效提高优化的样本效率。作者在多个高维任务上进行了实验，包括Mujoco运动任务、漫游器规划任务和合成函数，结果表明SynCMA在样本效率方面表现优异。此外，作者还对SynCMA和其他高斯进化策略算法进行了比较分析，以及探讨了该算法的优势和理论行为。

近期的相关研究包括贝叶斯优化和进化策略算法。其中，贝叶斯优化方法包括TPE、SMAC、BOHB等，进化策略算法包括CMA-ES、OpenAI-ES等。