CatCMA : Stochastic Optimization for Mixed-Category Problems

黑盒优化问题通常需要同时优化不同类型的变量，例如连续、整数和分类变量。与整数变量不同，分类变量不一定有有意义的顺序，而连续变量的离散化方法效果不佳。虽然有几种贝叶斯优化方法可以处理混合类别黑盒优化（MC-BBO），但它们在高维问题和内部计算成本方面缺乏可扩展性。本文提出了CatCMA，一种用于MC-BBO问题的随机优化方法，它采用多元高斯分布和分类分布的联合概率分布作为搜索分布。CatCMA在自然梯度方向上更新联合概率分布的参数。CatCMA还结合了协方差矩阵适应进化策略（CMA-ES）和随机自然梯度方法中使用的加速技术，例如步长适应和学习率适应。此外，我们通过边缘限制分类分布参数的范围来防止过早收敛，并分析地推导出一个有前途的边缘设置。数值实验表明，与最先进的贝叶斯优化算法相比，CatCMA的性能更优，对问题维度更加稳健。

CatCMA：一种用于混合类别黑盒优化问题的随机优化方法

使用多元高斯和分类分布的联合概率分布作为搜索分布，通过自然梯度方向更新联合概率分布的参数，同时结合CMA-ES和随机自然梯度方法的加速技术，限制分类分布参数的范围，防止过早收敛。

实验结果表明，与现有的贝叶斯优化算法相比，CatCMA在问题维度上具有更好的性能和更强的鲁棒性。

最近的相关研究包括使用贝叶斯优化方法解决混合类别黑盒优化问题，例如BOHB和MOBO等。