Towards Stability of Parameter-free Optimization

本文提出了一种新颖的无需手动调参的优化器AdamG（Adam with the golden step size），旨在解决超参数调优问题，特别是自适应梯度训练方法中适当学习率的选择。AdamG的核心技术是我们为AdaGrad-Norm算法推导的黄金步长，预计有助于AdaGrad-Norm保持无需调优的收敛性，并在各种优化场景下期望地逼近最优步长。为了更好地评估无需调参优化器的性能，我们提出了一个新的评估标准——稳定性，以全面评估参数自由优化器的有效性，除了传统的性能标准。实证结果表明，与其他无需调参的基线相比，AdamG在各种优化任务中表现出优异的性能，与手动调整学习率的Adam保持一致。

本文试图解决学习率选择在自适应梯度训练方法中的问题，提出了一种新的无需手动调整超参数的优化器AdamG。

AdamG的核心技术是基于AdaGrad-Norm算法推导出的黄金步长，旨在帮助AdaGrad-Norm保持无需调整收敛性并在各种优化场景下期望近似最优步长。

论文提出了一个新的评估标准“稳定性”来全面评估无需调参优化器的有效性，并在各种优化任务中展示了AdamG相对于其他无需调参基线的卓越性能，与手动调整学习率的Adam相当。

最近的相关研究包括AutoML和自适应学习率方法，如AdaGrad、RMSProp和Adam。