Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models

除了从数据中估计感兴趣的参数之外，统计推断的关键目标之一是正确量化这些估计的不确定性。在贝叶斯推断中，这种不确定性由后验分布提供，其计算通常涉及一个难以处理的高维积分。在可用的逼近方法中，基于采样的方法具有强大的理论保证，但在处理大问题时缩放性差，而变分方法的缩放性良好，但提供的理论保证较少。特别地，众所周知，变分方法会产生过于自信的后验不确定性估计，并且通常是不可识别的，因为许多潜变量配置会生成等效的预测。在这里，我们通过展示最近在生成建模任务中表现出最先进性能的扩散模型（DBMs）如何被重新用于执行校准的、可识别的贝叶斯推断来解决这些挑战。通过利用先前建立的扩散模型中的随机和概率流常微分方程（pfODEs）之间的联系，我们导出了一类模型，通胀流，通过ODE积分将高维数据唯一且确定地映射到低维高斯分布。这个映射是可逆的且保持邻域，具有可控的数值误差，从而数据中的不确定性被正确地传播到潜空间。我们演示了这样的映射如何通过使用新的噪声时间表的标准DBM训练来学习，并且在保留和减少内在数据维度方面非常有效。结果是一类高度表达的生成模型，唯一定义在低维潜空间上，提供了原则上的贝叶斯推断。

本论文旨在解决贝叶斯推断中的不确定性量化问题。传统的采样方法具有强大的理论保证，但难以扩展到大规模问题，而变分方法虽然可扩展性强，但提供的后验不确定性估计过于自信且通常不可识别。因此，本文试图提出一种新的方法，通过扩展扩散基模型（DBMs）来进行校准和可识别的贝叶斯推断。

本文提出了一种新的模型——膨胀流，利用扩散基模型中的随机和概率流ODE之间的联系，通过ODE积分将高维数据唯一地、确定地映射到低维高斯分布中，这种映射是可逆的和保持邻域的，能够控制数值误差，从而正确地传播数据中的不确定性到潜在空间中。这种映射可以通过标准DBM训练学习，使用新的噪声调度，并且在保留和减少内在数据维度方面都是有效的。

本文提出的膨胀流模型是高度表达力的生成模型，唯一定义在低维潜在空间上，可用于进行基于数据的贝叶斯推断。实验表明，该模型在多个数据集上都具有优异的性能。此外，本文还提出了一种新的噪声调度方法，以帮助学习膨胀流模型。本文还提供了开源代码。

在近期的相关研究中，也有一些研究采用了类似的思路，利用ODE来进行概率建模。例如，Neural ODEs和FFJORD模型都是利用ODE来进行生成建模的。此外，还有一些研究采用了其他方法来进行贝叶斯推断，如基于变分自编码器的方法和基于蒙特卡洛方法的方法。