A Unified Kernel for Neural Network Learning

近几十年来，人们对神经网络学习和核学习之间的区别和联系表现出了极大的兴趣。最近的进展在连接无限宽的神经网络和高斯过程方面取得了理论上的进展。出现了两种主流方法：神经网络高斯过程（NNGP）和神经切向核（NTK）。前者基于贝叶斯推断，代表了零阶核，而后者基于梯度下降的切线空间，是一种一阶核。本文提出了统一神经核（UNK），该核表征了具有梯度下降和参数初始化的神经网络的学习动态。所提出的UNK核保持了NNGP和NTK的极限特性，表现出类似于NTK的有限学习步骤行为，并在学习步骤趋近无穷大时收敛于NNGP。此外，我们还从理论上表征了UNK核的均匀紧致性和学习收敛性，为这种统一核提供了全面的洞察。实验结果强调了我们提出的方法的有效性。

本篇论文旨在提出一种统一的神经内核（UNK）来描述神经网络的学习动态，并比较其与神经网络高斯过程（NNGP）和神经切向核（NTK）的关系。

论文提出了一种统一的神经内核（UNK），该内核具有 NTK 和 NNGP 的极限特性，同时还能够在有限的学习步骤下表现出类似 NTK 的行为，并在学习步骤趋近于无穷大时收敛于 NNGP。

论文还通过实验验证了所提出的 UNK 内核的有效性，并提供了有关该内核的统一紧密度和学习收敛性的理论特征。

最近在这个领域中，还有一些相关的研究，如“Neural Network Gaussian Process and Its Application to Bayesian Optimization”和“Neural Tangent Kernel: Convergence and Generalization in Neural Networks”。