Solving Inverse Problems via Diffusion-Based Priors: An Approximation-Free Ensemble Sampling Approach

扩散模型（DMs）已被证明在建模高维分布方面非常有效，因此被广泛应用于贝叶斯逆问题（BIPs）中以表示复杂的先验分布。然而，目前为解决常见贝叶斯逆问题而提出的基于扩散模型的后验采样方法依赖于对生成过程的启发式近似。为了充分利用扩散模型的生成能力并避免使用这些近似方法，我们提出了一种基于集合的算法，该算法无需启发式近似即可进行后验采样。我们的算法受到现有工作的启发，这些工作将基于扩散模型的方法与序贯蒙特卡洛（SMC）方法相结合。通过研究由预训练得分函数编码的扩散过程中先验分布的演化，我们推导出一个修正的偏微分方程（PDE），该方程控制了相应后验分布的演化。此PDE包含一个修正的扩散项和一个重新加权项，可以通过随机加权粒子方法对其进行模拟。理论上，我们证明了真实后验分布与算法结果之间的误差可以通过预训练得分函数的训练误差以及集合中粒子的数量来约束。实证上，我们在成像领域的几个逆问题上验证了我们的算法，结果表明，与现有的基于扩散模型的方法相比，我们的方法能够提供更准确的重建结果。

论文试图解决在贝叶斯逆问题（BIPs）中使用扩散模型（DMs）进行后验采样时，现有方法依赖启发式近似的问题。这是一个已有问题，但论文提出了一种无需启发式近似的全新解决方案。

关键思路是通过结合扩散模型与序贯蒙特卡罗（SMC）方法，推导出一个修改后的偏微分方程（PDE），该方程描述了后验分布的演化过程。论文提出了一种基于随机加权粒子方法的算法来模拟这一演化，并证明了误差可以由预训练得分函数的训练误差和粒子数控制。相比现有方法，这种方法避免了启发式近似，从而更精确地捕捉后验分布。

论文通过多个成像逆问题验证了算法的有效性，展示了比现有DM方法更高的重建精度。实验设计包括对不同逆问题的测试，使用的数据集未明确提及，但结果表明方法具有广泛适用性。代码是否开源未提及，但理论分析和实证研究为未来改进扩散模型在贝叶斯推理中的应用提供了方向，例如优化得分函数训练或扩展到更高维度问题。

相关研究包括：1) 使用扩散模型生成高维数据的先验分布；2) 将扩散模型与MCMC方法结合用于贝叶斯推理；3) 针对贝叶斯逆问题的其他近似采样方法，如变分推断或正常化流。一些相关的论文标题可能包括《Score-based Generative Modeling through Stochastic Differential Equations》、《Bayesian Inference with Backward Diffusion Models》和《Sequential Monte Carlo for Bayesian Inverse Problems》。