GenEFT: Understanding Statics and Dynamics of Model Generalization via Effective Theory

我们提出了GenEFT：一种有效的理论框架，用于揭示神经网络泛化的静态和动态，并且通过图学习示例进行了说明。我们首先研究了数据量增加时泛化阶段转变，将实验结果与基于信息理论的近似进行比较。我们发现，解码器既不太弱也不太强的“金发姑娘区域”中存在泛化。然后，我们引入了一种有效的表示学习动态理论，其中将潜在空间表示建模为相互作用的粒子（repons），并发现它解释了我们观察到的泛化和过拟合之间的相变，当扫描编码器和解码器学习率时。这凸显出物理启发的有效理论在弥合机器学习中理论预测和实践之间差距方面的能力。

研究神经网络泛化的静态和动态特性，提出有效理论框架GenEFT，并以图学习为例进行说明。

提出基于信息论的近似方法，研究数据量增加时的泛化相变，发现解码器处于适度弱化状态时具有最佳泛化性能；引入有效理论，将潜空间表示建模为相互作用的粒子（repons），并发现编码器和解码器学习率扫描时的泛化和过拟合之间存在相变。

实验结果表明GenEFT框架有效地解释了神经网络泛化的静态和动态特性，具有物理学启发的有效理论框架可以弥合机器学习理论预测和实践之间的差距。

与此相关的研究包括：《A Theoretical Framework for Deep Learning via Independent Component Analysis》、《Understanding deep learning requires rethinking generalization》、《Towards a Mathematical Understanding of Neural Network-based Machine Learning: Perspectives and Challenges》等。