Provably Scalable Black-Box Variational Inference with Structured Variational Families

全秩协方差逼近的变分族在黑盒变分推断（BBVI）中已知表现不佳，无论是从经验上还是从理论上。事实上，最近针对BBVI的计算复杂度结果表明，与均值场变分族相比，全秩变分族在问题的维度上缩放得更慢。这对于具有局部变量的分层贝叶斯模型尤其关键；它们的维度随着数据集的大小而增加。因此，迭代复杂度具有显式的$\mathcal{O}(N^2)$依赖于数据集大小$N$。在本文中，我们探讨了均值场变分族和全秩变分族之间的理论中间地带：结构化变分族。我们严格证明了某些比例矩阵结构可以实现更好的迭代复杂度为$\mathcal{O}(N)$，这意味着对于$N$的缩放更好。我们在大规模分层模型上经验证实了我们的理论结果。

本论文旨在探索结构化变分族的理论中间地带，以取得更好的迭代复杂度，并在大规模分层模型上进行实验验证。

本论文提出了一种针对黑盒变分推断的结构化变分族，证明了某些规模矩阵结构可以实现更好的迭代复杂度，从而在与N相关的规模方面具有更好的扩展性。

论文在大规模分层模型上进行了实验验证，证明了结构化变分族的理论结果，并提高了迭代复杂度。该论文还涉及到与全秩变分族和均值场变分族的比较，以及与黑盒变分推断相关的计算复杂度。

与本论文相关的研究包括对黑盒变分推断的计算复杂度的最近研究，以及与变分族相关的其他研究，如全秩变分族和均值场变分族。