Wilsonian Renormalization of Neural Network Gaussian Processes

将相关和无关信息分开是任何建模过程或科学探究的关键。理论物理学提供了一种强有力的工具来实现这一点，即重整化群（RG）。在这里，我们展示了在高斯过程（GP）回归的背景下执行Wilson RG的实用方法。我们系统地积掉GP核的无法学习的模式，从而获得高斯过程的RG流，其中数据扮演着能量尺度的角色。在简单的情况下，这会导致岭参数的通用流动，而在包括非高斯性的更丰富的情况下，岭参数会变成与输入相关的。除了在分析上易于处理外，这种方法通过提供RG流和可学习模式与不可学习模式之间的自然联系，超越了RG和神经网络之间的结构类比。研究这样的流可能会提高我们对深度神经网络中特征学习的理解，并确定这些模型中的潜在普适类。

本文旨在展示在高斯过程回归中执行Wilson RG的实际方法，通过系统地集成GP核的不可学习模式，从而获得高斯过程的RG流，其中数据扮演能量尺度的角色。

本文提出了一种通过高斯过程回归执行Wilson RG的实际方法，该方法通过集成GP核的不可学习模式来获得高斯过程的RG流。

本文提供了一种自然的RG流和可学习模式与不可学习模式之间的联系，这可能有助于提高我们对深度神经网络中特征学习的理解，并确定这些模型中的潜在普适性类。该方法在简单情况下得到了一个通用的脊参数流，而在包含非高斯性的更丰富的情况下，脊参数流则会随输入而变化。

与本文相关的研究包括：1）《Deep Residual Learning for Image Recognition》；2）《Neural Ordinary Differential Equations》；3）《Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks》等。