Data-Driven Performance Guarantees for Classical and Learned Optimizers

我们引入了一种数据驱动的方法来分析连续优化算法的性能，利用统计学习理论中的泛化保证。我们研究了经典的和学习的优化器来解决参数优化问题。我们使用样本收敛界限为经典优化器构建泛化保证，使用可能近似正确（PAC）-Bayes框架为学习优化器构建泛化保证。为了训练学习优化器，我们使用基于梯度的算法直接最小化PAC-Bayes上界。在信号处理、控制和元学习的数值实验中，我们展示了我们的框架在固定迭代预算下为经典和学习优化器提供强大的泛化保证的能力。对于经典优化器，我们的界限比最坏情况下的保证更紧密。对于学习优化器，我们的界限优于观察到的非学习对应物的经验结果。

研究连续优化算法的性能，并使用统计学习理论的泛化保证来分析。研究经典和学习优化器来解决参数优化问题，试图在固定的迭代次数内提供强大的泛化保证。

使用统计学习理论的泛化保证来分析经典和学习优化器的性能。为经典优化器构建了一个样本收敛性保证，为学习优化器构建了一个基于PAC-Bayes框架的保证。使用梯度下降算法直接最小化PAC-Bayes上界来训练学习优化器。

论文在信号处理、控制和元学习中进行了实验，展示了该框架在固定的迭代次数内为经典和学习优化器提供强大的泛化保证。与最坏情况保证相比，经典优化器的保证更紧密。对于学习优化器，我们的保证优于观察到的非学习对应物的经验结果。

最近的相关研究包括使用PAC-Bayes框架进行泛化保证的其他学习算法的研究，以及对连续优化算法的其他性能分析的研究。