Guided Diffusion Sampling on Function Spaces with Applications to PDEs

我们提出了一种针对基于偏微分方程（PDE）反问题的条件采样通用框架，旨在从极稀疏或噪声测量中恢复完整的解。该方法通过函数空间扩散模型和插件式引导机制实现条件化。我们的方法首先利用神经算子架构训练一个无条件的、与离散化无关的去噪模型。在推理阶段，我们通过基于梯度的引导机制对样本进行优化，使其满足稀疏观测数据。通过严格的数学分析，我们将Tweedie公式扩展到无穷维希尔伯特空间，为我们的后验采样方法提供了理论基础。我们的方法（FunDPS）在极少量监督和严重数据匮乏的情况下，能够精确捕捉函数空间中的后验分布。在仅提供3%观测数据的五个PDE任务中，我们的方法相比最先进的固定分辨率扩散基线平均提高了32%的准确性，同时将采样步骤减少了4倍。此外，多分辨率微调确保了强大的跨分辨率泛化能力。据我们所知，这是首个独立于离散化的扩散框架，为PDE背景下的正问题和反问题提供了实用且灵活的解决方案。代码可在以下链接获取：https://github.com/neuraloperator/FunDPS

论文试图解决PDE（偏微分方程）逆问题中的条件采样难题，特别是在观测数据极其稀疏或噪声较大的情况下恢复完整的解。这是一个具有挑战性的问题，尤其是在数据稀缺的情况下准确捕获函数空间中的后验分布。

论文提出了一种名为FunDPS的框架，通过结合函数空间扩散模型和插件式引导机制来实现条件采样。首先训练一个与离散化无关的无条件去噪模型（基于神经算子架构），然后在推理阶段使用梯度引导机制使样本满足稀疏观测数据。此外，论文将Tweedie's公式扩展到无限维希尔伯特空间，为后验采样提供了理论支持。

1. 在仅3%观测数据的五个PDE任务中，相比固定分辨率扩散基线方法平均提升了32%的准确性，并减少了4倍的采样步骤。 2. 提出了多分辨率微调技术，增强了跨分辨率的泛化能力。 3. 这是首个与离散化无关的扩散框架，适用于前向和逆向PDE问题。 4. 开源代码已发布在GitHub上（https://github.com/neuraloperator/FunDPS），便于复现和进一步研究。 5. 论文提出的理论扩展和实验设计值得继续深入探索，例如更复杂的PDE系统和实际应用中的表现。

相关研究包括： 1. "Score-based generative modeling through stochastic differential equations" - 探索了基于分数的生成模型在图像生成中的应用。 2. "Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving PDEs" - 提出了物理信息神经网络（PINNs）以解决PDE正问题和逆问题。 3. "Fourier Neural Operator for Parametric Partial Differential Equations" - 引入了傅里叶神经算子用于参数化PDE的求解。 4. "Conditional Image Generation with Diffusion Models" - 研究了扩散模型在条件图像生成中的应用。 这些研究大多集中在固定分辨率模型或特定应用场景，而FunDPS则突破了离散化的限制，提供了一个更通用的解决方案。