Deep Generative Data Assimilation in Multimodal Setting

将物理知识和数据进行稳健的整合对于提高计算模拟（如地球系统模型）非常关键。数据同化对于实现这一目标至关重要，因为它提供了一个系统性的框架来将模型输出与观测（包括遥感图像和地面站测量）进行校准，同时可以进行不确定性量化。传统的方法，包括卡尔曼滤波器和变分方法，本质上依赖于简化的线性和高斯假设，并且计算成本很高。然而，随着数据驱动方法在计算科学的许多领域的快速应用，我们看到利用深度学习，特别是生成模型来模拟传统的数据同化的潜力。特别是，基于扩散的概率框架与数据同化原则有很大的重叠：两者都允许使用贝叶斯逆框架对样本进行有条件的生成。这些模型在文本条件下的图像生成或图像控制的视频合成方面表现出了显著的成功。同样，可以将数据同化作为观测条件下的状态校准。在这项工作中，我们提出了SLAMS：多模态环境下基于分数的潜变同化。具体而言，我们同化了现场气象站数据和卫星图像以全球范围内校准垂直温度剖面。通过广泛的消融实验，我们证明了SLAMS即使在低分辨率、噪声和稀疏数据的情况下也是稳健的。据我们所知，我们的工作是第一个使用真实数据集进行多模态数据同化的深度生成框架；这是建立稳健的计算模拟器（包括下一代地球系统模型）的重要一步。我们的代码可在以下链接中找到：https://github.com/yongquan-qu/SLAMS。

探索使用深度生成模型进行多模态数据同化的可行性，以提高计算模拟的精度和效率。

使用基于分数的概率框架的深度生成模型，将现场天气站数据和卫星图像同化，以校准全球垂直温度剖面。

SLAMS模型在低分辨率、噪声和稀疏数据的情况下表现出鲁棒性，是第一个使用真实数据集进行多模态数据同化的深度生成框架。代码已开源。

传统数据同化方法包括Kalman滤波器和变分方法，但SLAMS使用的基于分数的概率框架与数据同化原则有很大的重叠。此外，深度生成模型在图像生成和视频合成方面已经取得了显著的成功。