Variational Inference with Sequential Sample-Average Approximations

我们提出了一种名为顺序样本平均近似变分推断（VISA）的方法，用于在计算密集型模型中进行近似推断，例如基于数值模拟的模型。VISA通过采用一系列样本平均近似来扩展重要性加权前向KL变分推断，这些近似在一个信任区域内被认为是有效的。这使得可以在多个梯度步骤中重复使用模型评估，从而降低计算成本。我们在高维高斯分布、Lotka-Volterra动力学和Pickover吸引子上进行了实验，结果表明，对于保守选择的学习率，VISA可以实现与标准重要性加权前向KL变分推断相当的近似精度，并节省两倍或更多的计算成本。

VISA试图解决在基于数值模拟的计算密集型模型中进行近似推断的问题。

VISA通过使用一系列样本平均逼近来扩展重要性加权前向KL变分推断，从而在信任区域内减少计算成本。

论文在高维高斯分布、Lotka-Volterra动力学和Pickover吸引子上进行了实验，证明了VISA可以达到与标准重要性加权前向KL变分推断相当的近似精度，并节省两倍或更多的计算成本。

与之前的重要性采样和变分推断相关的研究，如重要性加权变分推断和自适应重要性采样。