You Only Accept Samples Once: Fast, Self-Correcting Stochastic Variational Inference

我们介绍了YOASOVI算法，用于在大型贝叶斯分层模型上执行快速、自我修正的随机优化变分推断（VI）。为实现这一目标，我们利用每次迭代中用于随机VI的目标函数的可用信息，用接受抽样替换常规的蒙特卡罗抽样。我们不再花费计算资源在大样本上绘制和评估梯度，而是只绘制一个样本，并以期望的改进比例的概率接受它。本文开发了两个版本的算法：一个基于天真的直觉，另一个将算法构建为Metropolis类型的方案。基于模拟和基准数据集的经验结果表明，YOASOVI始终比正则化蒙特卡罗和准蒙特卡罗VI算法更快地（在时钟时间内）收敛，并在更好的最优邻域内收敛。

加速变分推断（VI）在大型贝叶斯层次模型上的优化问题

使用接受抽样替代蒙特卡罗采样，以加速变分推断（VI）过程

YOASOVI算法通过接受抽样替代蒙特卡罗采样，从而加速变分推断（VI）过程。实验结果表明，相比于正常的蒙特卡罗采样和准蒙特卡罗采样，YOASOVI算法在时钟时间上更快地收敛到更好的最优解。

相关研究包括： 1. Monte Carlo Variational Inference 2. Quasi-Monte Carlo Variational Inference 3. Stochastic Gradient Variational Bayes