Bayesian RG Flow in Neural Network Field Theories

神经网络场论对应（NNFT）是一种将神经网络（NN）结构映射到统计场论（SFT）空间的方法。贝叶斯重整化群（BRG）是一种信息论粗粒化方案，它将精确重整化群（ERG）的原理推广到任意参数化的概率分布，包括NN的概率分布。在BRG中，粗粒化是在参数空间中进行的，与Fisher信息度量设置的信息论可区分度尺度有关。在本文中，我们将NNFT和BRG统一起来，形成一个强大的新框架，用于探索NN和SFT的空间，我们称之为BRG-NNFT。使用BRG-NNFT，NN训练动态可以解释为在信息论“红外” $\rightarrow$ “紫外”空间中引起SFT流动。相反，对训练好的网络参数进行信息壳粗粒化会在SFT空间中引起信息论“紫外” $\rightarrow$ “红外”的流动。当信息论截断尺度与标准动量尺度重合时，BRG等价于ERG。我们在两个解析易处理的例子上演示了BRG-NNFT对应关系。首先，我们构建了训练好的具有任意深度和通用激活函数的无限宽NN的BRG流。然后，我们将其限制为具有单个无限宽层、标量输出和广义cos-net激活函数的结构。在这种情况下，我们证明了BRG粗粒化完全对应于自由标量SFT的动量壳ERG流。我们的分析结果得到了数值实验的证实，该实验使用信息壳BRG方案对一组渐近宽的NN进行训练和重整化。

该论文旨在将神经网络架构映射到统计场论的空间中，并使用贝叶斯重整化群方法进行粗粒化，以探索神经网络和统计场论的空间。这是一个新的问题。

该论文提出了BRG-NNFT框架，将神经网络训练动态解释为在从信息理论的“IR”到“UV”的统计场论空间中引发的流动，并将信息壳层粗粒化应用于训练后的网络参数，从而在从信息理论的“UV”到“IR”的统计场论空间中引发流动。这种方法可以推广到任意参数化的概率分布，包括神经网络的分布。

该论文通过两个可分析的例子展示了BRG-NNFT对训练无限宽度神经网络的流动的探索。第一个例子是构建了对具有通用激活函数的任意深度的训练好的无限宽度神经网络的BRG流。第二个例子是将架构限制为具有单个无限宽度层、标量输出和广义cos-net激活函数的情况。在这种情况下，BRG粗粒化恰好对应于自由标量SFT的动量壳ERG流。论文的结果得到了数值实验的验证。

最近在这个领域中，还有一些相关的研究，例如“Exact renormalization group flows of deep neural networks”和“Neural networks as interacting particle systems: Asymptotic convexity of the loss landscape and universal scaling of the approximation error”。