简介：在实际应用中，用于训练机器学习模型的数据生成过程往往与模型在测试阶段遇到的情况不同。理解机器学习模型如何以及是否能在这种分布变化下进行泛化仍然是一个理论上的挑战。在这里，我们使用统计物理的复制方法研究了训练分布和测试分布不同时的核回归泛化。我们推导了适用于任何核数据集和真实数据集的分布外泛化误差的解析公式。我们确定一个重叠矩阵，量化给定核的分布之间的不匹配程度，作为分布偏移下泛化性能的关键决定性因素。使用我们的解析表达式，我们阐明了各种泛化现象，包括当存在分布不匹配时可能的泛化改进。我们设计了算法来优化给定数据预算的培训和测试分布，以找到移位下的最佳和最坏的泛化性能。我们将我们的理论的应用到了许多真实和合成数据集以及和许多核函数。我们将我们的理论应用于神经正切核的结果与宽神经网络的仿真结果进行了比较，得到了一致的结果。我们进一步分析了线性回归。

链接：https://arxiv.org/pdf/2106.02261.pdf
推荐理由：本文从核函数的角度分析了分布外泛化问题以及其难度，具有很好的理论价值和启发性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除