Mean-Field Microcanonical Gradient Descent

微正则梯度下降是一种能够高效采样高维分布的能量模型的采样过程。它通过使用梯度下降将样本从高熵分布（例如高斯白噪声）传输到低能量区域来实现。我们将这个模型放在归一化流的框架中，展示了它通常会过度拟合，因为在下降过程中失去了不必要的熵。为了解决这个问题，我们提出了一种均场微正则梯度下降，同时采样几个弱耦合的数据点，可以更好地控制熵的损失，而在可能性适合方面付出的代价很小。我们在金融时间序列的背景下研究了这些模型，展示了在合成和真实数据上的改进。

本论文旨在解决高维能量模型中的分布采样问题，提出了基于梯度下降的微正则采样方法，并针对其可能出现的过拟合问题提出了解决方案。

论文提出了基于梯度下降的微正则采样方法，通过将高熵分布的样本通过梯度下降传输到低能量区域，实现了高维分布的有效采样。为了解决过拟合问题，论文还提出了一种基于均场的微正则梯度下降方法，可以同时采样多个弱耦合数据点，从而更好地控制熵损失。

论文通过实验在金融时间序列数据上验证了微正则采样方法的有效性，并展示了基于均场的微正则梯度下降方法在熵损失和似然拟合方面的优越性。此外，论文还提供了开源代码和数据集，方便后续研究者进行进一步研究。

近期相关研究包括：1. PixelCNN++: Improving the PixelCNN with Discretized Logistic Mixture Likelihood and Other Modifications; 2. Glow: Generative Flow with Invertible 1x1 Convolutions; 3. Neural Autoregressive Flows。