深度学习能够取得如此成就，得益于其能够相对轻松地解决大规模非凸优化问题。尽管非凸优化是 NP 困难的，但一些简单的算法，通常是随机梯度下降（SGD）的变体，它们在实际拟合大型神经网络时表现出惊人的有效性。
本文中，来自华盛顿大学的多位学者撰文《 Git Re-Basin: Merging Models modulo Permutation Symmetries 》，他们研究了在深度学习中，SGD 算法在高维非凸优化问题上的不合理有效性。他们受到三个问题的启发：
1. 为什么 SGD 在高维非凸深度学习损失 landscapes 的优化中表现良好，而在其他非凸优化设置中，如 policy 学习、轨迹优化和推荐系统的稳健性明显下降 ?
2. 局部极小值在哪里？在初始化权值和最终训练权值之间进行线性插值时，为什么损失会平滑、单调地减小？
3. 两个独立训练的模型，它们具有不同的随机初始化和数据批处理顺序，为何会实现几乎相同的性能？此外，为什么它们的训练损失曲线看起来一样
论文地址：https://arxiv.org/pdf/2209.04836.pdf
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢