FunDiff: Diffusion Models over Function Spaces for Physics-Informed Generative Modeling

近期生成建模领域的进展，特别是扩散模型和流匹配方法，在合成离散数据（如图像和视频）方面取得了显著的成功。然而，将这些模型应用于物理领域仍然具有挑战性，因为感兴趣的物理量是受复杂物理规律支配的连续函数。在此，我们提出了 **FunDiff**，这是一种在函数空间中进行生成建模的新框架。FunDiff 将潜在扩散过程与函数自动编码器架构相结合，能够处理具有不同离散化的输入函数，生成可在任意位置评估的连续函数，并无缝融入物理先验知识。这些物理先验通过架构约束或物理信息驱动的损失函数加以强制执行，从而确保生成的样本符合基本物理定律。我们在理论上建立了函数空间中密度估计的极小极大最优性保证，证明了在适当的正则性条件下，基于扩散的估计器能够实现最优收敛率。我们通过流体力学和固体力学中的多种应用展示了 FunDiff 的实际有效性。实验结果表明，我们的方法能够以高保真度生成与目标分布一致且物理上合理的样本，并对噪声和低分辨率数据表现出较强的鲁棒性。代码和数据集已在 https://github.com/sifanexisted/fundiff 公开提供。

该论文试图解决如何将先进的生成模型（如扩散模型）应用于连续函数空间的问题，特别是那些受复杂物理定律约束的函数。这是一个新问题，因为传统的生成模型主要针对离散数据（如图像、视频），而物理应用中的数据通常是连续的函数。

论文提出了一种名为FunDiff的新框架，结合了潜在扩散过程和函数自编码器架构，以处理具有不同离散化的输入函数，并生成可任意评估的连续函数。此外，通过架构约束或物理信息损失函数引入物理先验，确保生成样本符合基本物理定律。这一思路的创新点在于将扩散模型从离散数据扩展到连续函数空间，并成功融入物理约束。

论文在理论层面建立了密度估计的极小极大最优性保证，证明扩散模型在适当正则性条件下能达到最优收敛率。实验部分展示了FunDiff在流体动力学和固体力学中的实际效果，能够生成与目标分布高度一致且物理上合理的样本，同时对噪声和低分辨率数据表现出鲁棒性。代码和数据集已开源至GitHub（https://github.com/sifanexisted/fundiff），为后续研究提供了基础。未来可以进一步探索更多物理领域中的应用及改进模型性能的方法。

近期相关研究包括：1) "Score-Based Generative Modeling through Stochastic Differential Equations" 提出了基于分数的生成建模方法；2) "Physics-Informed Neural Networks: A Deep Learning Framework for Solving Forward and Inverse Problems Involving Partial Differential Equations" 将神经网络与物理方程结合；3) "Fourier Neural Operator for Parametric Partial Differential Equations" 利用傅里叶变换解决偏微分方程。这些工作都围绕物理约束下的生成模型或求解器展开，但FunDiff首次将扩散模型与物理先验深度融合用于函数空间生成任务。