德国图宾根大学的几位学者，最近在论文中宣称提供了最全面的优化算法分析。它整理了自1964年以来，几乎所有的优化方法 （约130种），将它们进行了分类。此外，它还给出了几种基准测试方法，并用它分析了1344种可能的配置方案。

从下图这份密密麻麻的图表来看，迄今为止，提出的优化算法已经有130种左右。

在运行了35000次测试后，它给出了非常全面的优化器算法分析介绍，并告诉你如何用这些基准测试，为自己的深度学习模型选择最好的优化方案。

目前，作者已经在ArXiv论文页面，开源了基准测试方法的Code。

论文地址：https://arxiv.org/abs/2007.01547

内容中包含的图片若涉及版权问题，请及时与我们联系删除