Probabilistic learning rate scheduler with provable convergence

学习率调度器在实践中已经展示出加速学习算法收敛的巨大成功，然而它们收敛到最小值的理论证明尚未完成。这主要是因为传统的收敛分析要求学习率单调递减（或保持不变），而调度器则选择在训练时期内经常增加和减少的学习率。在本文中，我们旨在通过提出一种概率学习率调度器（PLRS），它不符合单调递减的条件，并具有可证明的收敛保证，来弥合这一差距。除了提供详细的收敛证明外，我们还展示了实验结果，其中所提出的PLRS在各种数据集和架构上与其他最先进的学习率调度器相比表现出了竞争力。

本论文旨在提出一种概率学习率调度器（PLRS），以解决传统收敛分析无法处理的学习率递增和递减的情况，并提供可证明的收敛保证。

论文提出了一种概率学习率调度器（PLRS），该调度器可以在不需要满足传统单调递减学习率条件的情况下提供可证明的收敛保证。

论文提供了详细的收敛证明，并在各种数据集和架构上展示了与其他最先进的学习率调度器相竞争的实验结果。

最近的相关研究包括“Cyclical Learning Rates for Training Neural Networks”和“SGDR: Stochastic Gradient Descent with Warm Restarts”等。