Sharpness-Aware Minimization for Evolutionary Feature Construction in Regression

近年来，基于遗传规划（GP）的进化特征构建取得了显著的成功。然而，进化特征构建的一个主要挑战是其倾向于在训练数据上过度拟合，导致在未见数据上表现不佳。在这项研究中，我们从PAC-Bayesian理论中获得启示，并提出使用函数空间中的锐度感知最小化来发现在语义空间中表现出稳健性能的符号特征，这些特征在平滑的损失景观中表现出稳健性能。通过优化锐度以及交叉验证损失，并设计锐度降低层，所提出的方法有效地缓解了GP的过度拟合问题，特别是在处理有限数量的实例或存在标签噪声时。在58个真实世界回归数据集上的实验结果表明，我们的方法优于标准GP以及六种最先进的GP复杂度测量方法，在控制过度拟合方面表现出色。此外，具有锐度感知最小化的GP集成版本表现出优于九种微调的机器学习和符号回归算法的性能，包括XGBoost和LightGBM。

论文旨在解决遗传编程（GP）在演化特征构建中出现的过拟合问题，特别是在处理有限数量实例或存在标签噪声时的问题。

论文提出了一种基于PAC-Bayesian理论的锐度感知函数空间最小化方法，以发现在语义空间内具有鲁棒性的符号特征。通过优化锐度和交叉验证损失，以及设计锐度降低层，该方法有效地缓解了GP过拟合问题。

该方法在58个现实世界的回归数据集上进行了实验，表现出优于标准GP和六种GP复杂度测量方法的控制过拟合能力。此外，锐度感知最小化的GP集成版本表现出优于九种经过调优的机器学习和符号回归算法，包括XGBoost和LightGBM的性能。

最近的相关研究包括“Reducing Overfitting in Genetic Programming via Ensemble Learning”和“Overfitting in Genetic Programming: An Analysis of the Causes and a Novel Approach to Combat It”。