Jorge Nocedal是美国西北大学教授，知名的应用数学家和计算机科学家，专长是数值优化。名著 Numerical Optimization的作者之一。曾获得Dantzig和诺依曼理论奖。2020年当选美国工程院院士。

文章发表于SIAM Review 2018年第2期，由Nocedal与Leon Bottou（Facebook）和Frank E. Curtis（Lehigh大学）合作。

这篇89页的文章，对机器学习应用程序中数值优化算法的过去、现在和未来进行了回顾和评论。通过对文本分类和深度神经网络训练的案例研究，讨论了机器学习中如何出现优化问题以及为什么有挑战性。研究的主题之一是，大规模机器学习代表了一种独特的环境，其中随机梯度（SG）方法传统上起着核心作用，而传统的基于梯度的非线性优化技术通常效果不佳。基于这种观点，我们提出了一种简单而通用的SG算法的综合理论，讨论了它的实际行为，并着重介绍了设计更好性能算法的可能。这引出了关于大规模机器学习的下一代优化方法的讨论，包括两个主要方向：一个是对减少随机方向上噪声的技术，一个是利用二阶导数近似。

内容中包含的图片若涉及版权问题，请及时与我们联系删除