Sparse Inducing Points in Deep Gaussian Processes: Enhancing Modeling with Denoising Diffusion Variational Inference

深高斯过程（DGPs）为贝叶斯深度学习提供了一个强大的范例。在DGPs中，选择了一组稀疏的积分位置，称为诱导点，以近似模型的后验分布。这是为了降低计算复杂度和提高模型效率。然而，推断诱导点的后验分布并不简单。传统的变分推断方法往往会导致显著的偏差。为了解决这个问题，我们提出了一种叫做去噪扩散变分推断（DDVI）的替代方法，它使用去噪扩散随机微分方程（SDE）生成诱导变量的后验样本。我们依赖于得分匹配方法来使用神经网络逼近得分函数的去噪扩散模型。此外，通过将SDE的经典数学理论与近似和真实过程之间KL散度的最小化相结合，我们提出了DGP边缘似然函数的新的显式变分下限。通过在各种数据集上进行实验并与基线方法进行比较，我们从经验上证明了DDVI用于DGP模型的诱导点后验推断的有效性。

本文旨在解决深高斯过程（DGP）中诱导点后验分布的近似问题。传统的变分推断方法会导致显著的偏差，因此需要提出一种新的方法。

本文提出一种名为Denoising Diffusion Variational Inference (DDVI)的方法，使用去噪扩散随机微分方程（SDE）来生成诱导变量的后验样本。通过结合SDE的经典数学理论和KL散度最小化来提出新的显式变分下界。

本文通过实验验证了DDVI方法在DGP模型的诱导点后验推断中的有效性，并与基线方法进行了比较。实验使用了多个数据集，并且开源了代码。此外，本文的方法还可以应用于其他概率模型的后验推断。

在这个领域中，最近的相关研究包括《Variational Inference for Gaussian Process Models with Linear Complexity》、《Scalable Variational Inference for Dynamical Systems》等。