Fearless Stochasticity in Expectation Propagation

Expectation propagation（EP）是一类用于在概率模型中进行近似推断的算法。EP的更新涉及到矩的计算——某些函数的期望值——这些可以从蒙特卡罗（MC）样本中估计。但是，如果朴素地执行这些更新，它们对MC噪声并不稳健，因此各种先前的工作尝试以不同的方式解决这个问题。在这项工作中，我们提供了一种新的视角来看待EP的矩匹配更新；即，它们执行基于自然梯度的变分目标优化。我们利用这个见解来激励两种新的EP变体，其更新特别适合MC估计；它们保持稳定，并且在仅使用单个样本进行估计时最具样本效率。这些新变体结合了其前身的优点并解决了关键的弱点。特别地，它们更容易调整，提供了更好的速度-精度权衡，并且不依赖于使用去偏估计器。我们在各种概率推断任务上展示了它们的功效。

本论文旨在提出一种新的期望传播（EP）算法变体，以解决传统算法在使用蒙特卡洛（MC）采样估计时存在的噪声问题，并在各种概率推断任务中进行验证。

本文提出了一种新的视角，即期望匹配更新实际上是对变分目标进行自然梯度优化的过程。作者利用这种思路提出了两种新的EP变体，其更新方式非常适合使用MC估计，并且在使用单个样本进行估计时最为稳定和高效。

实验结果表明，这两种新的EP变体相比于传统算法具有更好的速度-准确性平衡，不需要使用去偏估计器，且更易于调整。此外，作者还使用多个概率推断任务对算法进行了验证，并在论文中提供了开源代码。

最近在这个领域中，还有一些相关的研究，例如《Robust Monte Carlo Methods for Light Transport Simulation Using Progressive Probabilistic Density Estimation》和《Efficient Variational Bayesian Inference with Implicit Models》。