A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models

在本文中，我们从三个角度回顾了神经网络的统计理论文献。第一部分回顾了关于回归或分类的非参数框架下神经网络过度风险的结果。这些结果依赖于神经网络的明确构造，导致过度风险的快速收敛率，采用了逼近理论的工具。通过这些构造，网络的宽度和深度可以用样本大小、数据维度和函数平滑度来表示。然而，它们的基本分析仅适用于深度神经网络高度非凸的全局最小化器。这促使我们在第二部分回顾神经网络的训练动态。具体而言，我们回顾了试图回答“神经网络如何通过基于梯度的方法找到在未见数据上可以泛化良好的解”的论文。特别是，我们回顾了两个知名的范例：神经切向核（NTK）范例和平均场（MF）范例。在最后一部分，我们回顾了生成模型中包括生成对抗网络（GAN）、扩散模型和大语言模型（LLM）中的上下文学习（ICL）的最新理论进展。前两个模型被认为是现代生成AI时代的主要支柱，而ICL是LLM在上下文中从少量示例中学习的强大能力。最后，我们通过建议几个深度学习理论的有前途的方向来结束本文。

统计神经网络理论的综述

本文从三个角度综述了统计神经网络的理论：非参数回归或分类框架下的过度风险、神经网络的训练动态以及生成模型的理论进展。

论文介绍了神经网络中的宽度和深度可以用样本大小、数据维度和函数平滑度来表达，同时介绍了神经切向核（NTK）和平均场（MF）范式，并探讨了生成对抗网络（GANs）、扩散模型和大语言模型（LLMs）中的上下文学习（ICL）等方面的最新理论进展。

在这个领域中，最近的相关研究包括“神经网络的深度和宽度的影响”、“神经网络的训练动态”以及“生成模型的理论进展”等。