论文标题：Recent advances in deep learning theory 论文链接：https://arxiv.org/abs/2012.10931 作者单位：悉尼大学(陶大程等人) 41页概述PDF，共计255篇参考文献！

在不断批评缺乏理论基础的情况下，深度学习通常被描述为一个实验驱动的领域。大量文献迄今还没有很好地组织起来。本文回顾并组织了深度学习理论的最新进展。文献分为六类：（1）用于分析深度学习的泛化性的基于复杂性和基于能力的方法； （2）随机微分方程及其动力学系统，用于建模随机梯度下降及其变体，其特征在于深度学习的优化和泛化，其部分原因是贝叶斯推理的启发；（3）驱动动态系统轨迹的损失landscape的几何结构；（4）从正面和负面的角度来看，深度神经网络的过度参数化都起着作用； （5）网络体系结构中几种特殊结构的理论基础； （6）对道德与安全及其与概论关系的关注日益浓厚。

内容中包含的图片若涉及版权问题，请及时与我们联系删除