在机器学习领域，我们经常会听到凸函数和非凸函数，简单来讲，凸函数指的是顺着梯度方向走，函数能得到最优解 ，大部分传统机器学习问题都是凸的。而非凸指的是顺着梯度方向走能够保证是局部最优，但不能保证是全局最优，深度学习以及小部分传统机器学习问题都是非凸的。
在寻求最优解的过程中，研究者通常采用梯度下降算法。近日，reddit 上的一个热议帖子，帖子内容为「随机梯度下降能否收敛于非凸函数？」
非凸优化问题被认为是非常难求解的，因为可行域集合可能存在无数个局部最优点，通常求解全局最优的算法复杂度是指数级的（NP 困难）。那么随机梯度下降能否收敛于非凸函数？针对这一问题，众多网友进行了一番讨论。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢