Generalization error of min-norm interpolators in transfer learning

本文研究了深度迁移学习中汇聚最小二范数插值的泛化误差问题，该问题涉及到来自不同分布的数据。最小二范数插值器自然地成为现代机器学习算法的隐式正则化极限。先前的研究表明，当测试分布的样本在训练期间不可用时，它们的分布风险是可以被描述的。然而，在许多应用程序中，训练期间可能只有少量的测试数据可用，但是在这种情况下，汇聚最小二范数插值的特性并不是很清楚。本文通过对协变量和模型转移下汇聚最小二范数插值的偏差和方差进行描述来填补这一空白。汇聚插值器同时捕捉了早期融合和一种中间融合形式。我们的结果有几个含义：在模型转移下，对于低信噪比（SNR），添加数据总是会带来负面影响。对于更高的SNR，只要转移到信号（SSR）比低于我们明确描述的阈值，迁移学习就会有所帮助。通过一致地估计这些比率，我们提供了一种数据驱动的方法来确定：（i）汇聚插值器何时优于基于目标的插值器，以及（ii）最小化泛化误差的最佳目标样本数量。在协变量转移下，如果源样本大小相对于维度较小，则域之间的异质性可以提高风险，反之亦然。我们建立了一种新颖的各向异性局部定律来实现这些特性，这可能是随机矩阵理论中独立感兴趣的内容。我们通过全面的模拟补充了理论描述，证明了我们结果的有限样本效果。

本论文旨在研究汇集最小二范数插值在传递学习中的泛化误差问题，特别是在训练期间有少量测试数据可用的情况下的性能。

论文通过对协变量和模型偏移下汇集最小二范数插值的偏差和方差进行分析，提出了一种数据驱动的方法来确定汇集插值器优于基于目标的插值器的情况以及最小化泛化误差的最佳目标样本数量。

论文的亮点包括：（1）通过对汇集最小二范数插值的偏差和方差进行分析，提出了一种数据驱动的方法来确定汇集插值器优于基于目标的插值器的情况以及最小化泛化误差的最佳目标样本数量；（2）在协变量偏移下，如果源样本大小相对于维数较小，则领域之间的异质性会提高风险，反之亦然；（3）通过全面的模拟，证明了论文结果的有限样本效力。

在这个领域最近的相关研究包括：《Understanding deep learning requires rethinking generalization》、《A theoretical analysis of deep learning via over-parametrization》、《On the convergence and robustness of adversarial training》等。