Minimum-Norm Interpolation Under Covariate Shift

迁移学习是实际机器学习部署的关键部分，在超参数化神经网络的实验研究中得到了广泛的研究。然而，即使在线性回归的最简单设置中，迁移学习的理论理解仍存在显著差距。高维线性回归的分布内研究已经导致了一种被称为“良性过拟合”的现象的识别，其中线性插值器对嘈杂的训练标签过拟合，但仍然具有良好的泛化能力。这种行为发生在源协方差矩阵和输入数据维度的特定条件下。因此，自然而然地想知道这种高维线性模型在迁移学习下的行为如何。我们证明了迁移学习设置下良性过拟合线性插值器的第一个非渐进超额风险界限。通过我们的分析，我们提出了一种基于过参数化程度的“有益”和“恶性”协变量转移分类法。我们接着进行了实证研究，展示了这些良性和恶性协变量转移对于实际图像数据中的线性插值器以及在输入数据维度大于训练样本大小的全连接神经网络中的影响。

本论文旨在探讨高维线性回归中的benign overfitting现象在迁移学习中的表现，并提出beneficial和malignant covariate shifts的分类。

论文证明了benignly-overfit线性插值器在迁移学习中的超额风险，并提出了一种基于过度参数化程度的beneficial和malignant covariate shifts分类方法。

论文提出了一种新的分类方法，实验结果表明了beneficial和malignant covariate shifts在实际图像数据和高维数据中的表现。此外，论文还提供了开源代码。

相关研究包括高维线性回归中的benign overfitting现象的研究，以及迁移学习的研究。