LEAPS: A discrete neural sampler via locally equivariant networks

我们提出了LEAPS，这是一种通过学习连续时间马尔可夫链（CTMC）的速率矩阵来从离散分布中抽样的算法，这些离散分布已知但未归一化。LEAPS可以被视为退火重要性采样和序贯蒙特卡洛方法的连续时间表述，并进行了扩展，使得通过引入CTMC可以抵消重要性权重的方差。为了推导这些重要性权重，我们引入了一组CTMC在其路径测度上的拉东-尼科迪姆导数。由于使用标准神经网络参数化的速率矩阵计算这些权重是难以处理的，我们设计了一种新的紧凑表示方法，即通过我们称为局部等变函数的方式来表示速率矩阵。为了参数化它们，我们引入了一族局部等变多层感知器、注意力层和卷积网络，并提供了一种方法来构建保持局部等变性的深度网络。这一特性使我们能够提出一种可扩展的训练算法，用于速率矩阵，从而使与CTMC相关的重要权重的方差最小化。我们在统计物理问题上展示了LEAPS的有效性。

该论文试图解决从离散分布中进行采样的问题，这些分布已知但仅确定到归一化常数。这是一个在统计物理等领域常见的挑战，而现有的方法如退火重要性采样和顺序蒙特卡罗方法可能因重要性权重的方差而导致效率低下。

LEAPS算法的关键思路是通过学习连续时间马尔可夫链（CTMC）的速率矩阵来实现对离散分布的采样。它将退火重要性采样和顺序蒙特卡罗方法扩展到连续时间框架，并引入了局部等变函数以参数化速率矩阵，从而最小化重要性权重的方差。这种方法不仅新颖，而且通过使用局部等变多层感知器、注意力层和卷积网络，使得深度网络能够保持局部等变性，进而实现了更高效的训练。

1. 引入了新的紧凑表示方法——局部等变函数，用于参数化CTMC的速率矩阵。 2. 提出了局部等变多层感知器、注意力层和卷积网络，为构建深网络提供了新途径。 3. 实验设计验证了LEAPS在统计物理问题上的有效性。 4. 提供了一种使深度网络保持局部等变性的方法，有助于减少重要性权重的方差。 5. 论文没有提及是否开源代码，但其提出的方法具有重要的理论和应用价值，值得进一步研究。

最近在这个领域内，相关的研究包括： - 'Annealed Importance Sampling' by Neal (2001)，这是退火重要性采样的基础工作。 - 'Sequential Monte Carlo Methods in Practice' by Doucet, de Freitas, and Gordon (2001)，介绍了顺序蒙特卡罗方法。 - 'Learning Continuous-Time Generative Models of Discrete Data' by Honkela and Valpola (2004)，探讨了连续时间生成模型。 - 'Neural SDEs as Infinite-Dimensional GANs' by Tallec et al. (2020)，结合了神经网络与随机微分方程。 这些研究都为LEAPS的发展奠定了基础。