A Linear Programming Enhanced Genetic Algorithm for Hyperparameter Tuning in Machine Learning

在本文中，我们将机器学习中的超参数调整问题描述为一个双层规划问题。我们使用一个带有线性规划的微遗传算法来解决这个双层规划问题。虽然遗传算法搜索离散的超参数，但线性规划增强了连续超参数的超局部搜索。本文的主要贡献在于提出了一个线性规划问题，支持快速搜索连续的超参数，并可以与任何超参数搜索技术集成。它也可以直接应用于任何经过训练的机器学习或深度学习模型进行微调。我们在两个数据集MNIST和CIFAR-10上测试了所提出方法的性能。我们的结果清楚地表明，使用线性规划增强结合任何基于群体的超参数调整方法，都具有显著的优势。

将机器学习中的超参数调整问题形式化为双层规划问题，并提出了一种使用线性规划增强的微遗传算法来解决该问题。

提出了一种线性规划增强的微遗传算法，可以在离散超参数搜索的同时进行连续超参数的快速搜索。

实验结果表明，使用线性规划增强的微遗传算法可以显著提高超参数调整的效果。这种方法还可以直接应用于任何已训练的机器学习或深度学习模型进行微调。

近期的相关研究包括： - Efficient and Robust Automated Machine Learning（AutoML）via Pareto Optimization - Hyperparameter Optimization with Factorized Multilayer Perceptrons