Neural Scaling Laws From Large-N Field Theory: Solvable Model Beyond the Ridgeless Limit

许多基于神经网络的机器学习模型表现出缩放定律：它们的性能随着模型和训练数据集的大小呈幂律变化。我们使用大N场论方法解决了由Maloney、Roberts和Sully提出的模型，该模型提供了一个简化的设置来研究神经缩放定律。我们的解决方案将后者论文中的结果扩展到了一般的非零岭参数值，这对于规范模型的行为至关重要。除了获得新的更精确的缩放定律外，我们还在图表级别上发现了一种对偶变换，解释了模型和训练数据集大小之间的对称性。同样的对偶性也支撑着最近设计神经网络模拟量子场论的努力。

本论文旨在研究神经网络的规模定律，即模型和训练数据集的大小对性能的影响，同时解决一个由Maloney、Roberts和Sully提出的模型，该模型提供了一个简化的环境来研究神经网络的规模定律。

本文使用大N场论方法解决了Maloney、Roberts和Sully提出的模型，将结果扩展到了一般的非零岭参数值，这对于规范模型行为是必要的。在获得新的更精确的规模定律的同时，我们还在图表级别发现了一种对偶变换，解释了模型和训练数据集大小之间的对称性。

本文的亮点包括对神经网络规模定律的深入研究，使用大N场论方法解决了Maloney、Roberts和Sully提出的模型，发现了图表级别的对偶变换，解释了模型和训练数据集大小之间的对称性。此外，本文还涉及到神经网络模拟量子场论的相关工作。

最近在这个领域中，还有一些相关研究，例如“Deep Learning Scaling is Predictable, Empirically”和“Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks”等。