Deep Generative Data Assimilation in Multimodal Setting

将物理知识和数据进行强大的整合是提高计算模拟（例如地球系统模型）的关键。数据同化对于实现这一目标至关重要，因为它提供了一个系统框架，可以通过不确定性量化，将模型输出与观测数据（包括遥感图像和地面站测量）进行校准。传统方法，包括卡尔曼滤波器和变分方法，本质上依赖于简化的线性和高斯假设，并且可能计算成本高昂。然而，随着数据驱动方法在许多计算科学领域的快速应用，我们看到了使用深度学习，特别是生成模型，来模拟传统数据同化的潜力。特别是，基于扩散的概率框架与数据同化原理有很大的重叠：两者都允许使用贝叶斯反演框架进行样本的条件生成。这些模型在文本条件下的图像生成或图像控制的视频合成方面已经取得了显著的成功。同样，人们可以将数据同化框架作为观测条件下的状态校准。在本文中，我们提出了SLAMS：多模态环境中基于得分的潜在同化。具体而言，我们同化现场天气站数据和卫星图像，以全球范围内校准垂直温度剖面。通过广泛的消融实验，我们证明了SLAMS即使在低分辨率、嘈杂和稀疏数据的情况下也很稳健。据我们所知，我们的工作是第一个使用真实世界数据集进行多模态数据同化的深度生成框架；这是建立强大的计算模拟器，包括下一代地球系统模型的重要一步。我们的代码可在以下网址找到：https://github.com/yongquan-qu/SLAMS。

利用深度学习解决数据同化问题，提高地球系统模型的计算模拟效果。

使用基于分布的概率框架，利用深度生成模型进行多模态数据同化，提高数据同化的鲁棒性。

论文提出的SLAMS方法能够在低分辨率、噪声和稀疏数据的情况下，将局地天气站数据和卫星图像数据同化，从而提高地球系统模型的计算模拟效果。论文开源了代码。

近期的相关研究包括："Deep Learning for Earth Science Data Analysis: A Survey"、"Deep Learning for Remote Sensing Data: A Technical Tutorial on the State of the Art"等。