Scaling and renormalization in high-dimensional regression

本文利用随机矩阵理论和自由概率的基本工具简洁地推导了各种高维岭回归模型的训练和泛化性能。我们提供了这些主题的最新研究结果的介绍和回顾，面向具有物理和深度学习背景的读者。训练和泛化误差的解析公式可以直接从自由概率的$S$-变换的属性中得出，只需几行代数即可获得。这允许我们直接识别模型性能中幂律缩放的来源。我们计算了广泛类别的随机特征模型的泛化误差。我们发现，在所有模型中，$S$-变换对应于训练-测试泛化差距，并产生广义交叉验证估计器的类比。利用这些技术，我们推导了一类具有结构协变量的随机特征模型的细粒度偏差-方差分解。这些新颖的结果使我们能够发现随机特征模型的缩放区间，在过度参数化的情况下，特征方差限制了性能。我们还演示了随机特征模型中各向异性权重结构如何限制性能，并导致过度参数化设置中有限宽度修正的非平凡指数。我们的结果扩展并提供了早期神经缩放定律模型的统一视角。

本论文旨在使用随机矩阵理论和自由概率的基本工具，对各种高维岭回归模型的训练和泛化性能进行简明推导。

本文使用自由概率的S变换的特性，直接从代数的角度得出训练和泛化误差的解析公式，从而简化了模型性能的幂律缩放源的识别。

本文提供了一个广泛的随机特征模型的泛化误差的计算方法，并得出了一些新颖的结果，如随机特征模型的精细偏差-方差分解和特征方差在超参数化设置中限制性能的缩放区间。本文还展示了随机特征模型中各向异性权重结构如何限制性能并导致有限宽度修正的非平凡指数。

最近的相关研究包括神经缩放律的早期模型。