Trajectory-Based Multi-Objective Hyperparameter Optimization for Model Retraining

训练机器学习模型本质上涉及到资源密集型和嘈杂的迭代学习过程，允许按时期监控模型性能。然而，在多目标超参数优化场景中，通常忽略了从迭代学习过程中获得的见解。我们注意到，在超参数设置下跟踪模型性能跨多个时期会在目标空间中创建一条轨迹，而轨迹上的权衡通常被忽视，尽管它们潜在地为模型重新训练的决策提供有价值的见解。因此，在本研究中，我们提出通过将训练时期作为一个额外的决策变量来增强多目标超参数优化问题，以纳入轨迹信息。相应地，我们提出了一种新的基于轨迹的多目标贝叶斯优化算法，具有两个特点：1）一个获取函数，捕捉任何超参数设置的预测轨迹所做的改进；2）一个多目标提前停止机制，确定何时终止轨迹以最大化时期效率。对各种合成模拟和超参数调整基准的数值实验表明，我们的算法在定位更好的权衡和调整效率方面优于最先进的多目标优化器。

多目标超参数优化中，如何更好地利用训练过程中的轨迹信息来提高模型性能和调优效率？

将训练轮数作为一个额外的决策变量，通过捕捉超参数设置的预测轨迹改进收益函数，并使用多目标早停机制来最大化轨迹效率，提出了一种基于轨迹的多目标贝叶斯优化算法。

实验表明，该算法在不同的合成模拟和超参数调优基准测试中优于现有的多目标优化器，能够更好地定位更好的权衡和调优效率。

最近相关研究包括基于贝叶斯优化的超参数优化算法，以及多目标优化算法，如NSGA-II和MOEA/D-ACD。