Improved Particle Approximation Error for Mean Field Neural Networks

MFLD（Mean-field Langevin dynamics）通过在概率分布空间中定义一个熵正则化的非线性凸函数来实现最小化。由于与平均场两层神经网络的噪声梯度下降有关，因此MFLD受到了关注。与标准的 Langevin 动力学不同的是，目标函数的非线性性引起了粒子间的相互作用，需要多个粒子来近似有限粒子环境中的动力学。最近的研究表明（Chen等人，2022；Suzuki等人，2023b），MFLD的时间均匀传播混沌，表明粒子系统与其平均场极限之间的差距随着粒子数量的增加而均匀缩小。在本文中，我们改进了他们的粒子逼近误差对对数 Sobolev 不等式（LSI）常数的依赖关系，这些常数可以随着正则化系数的指数恶化。具体而言，我们通过利用风险最小化中的问题结构，建立了一个无LSI常数的粒子逼近误差，以解决目标差距的问题。作为应用，我们展示了MFLD的改进收敛性、平均场稳态分布的采样保证，以及在粒子复杂度方面的时间均匀 Wasserstein 混沌传播。

本文旨在改进Mean-field Langevin dynamics（MFLD）的粒子逼近误差，以提高其收敛速度和采样保证性。

本文通过利用风险最小化中的问题结构，建立了一个无需LSI常数的粒子逼近误差，从而改善了MFLD的收敛速度和采样保证性。

本文证明了改进后的MFLD具有更好的收敛速度和采样保证性。实验结果表明，该方法在多个数据集上表现出色，并且相比于之前的方法，具有更好的性能。

最近的相关研究包括Chen等人的2022年论文和Suzuki等人的2023b年论文，它们都探讨了MFLD的粒子逼近误差和混沌传播问题。