A Scalable Real-Time Data Assimilation Framework for Predicting Turbulent Atmosphere Dynamics

天气和气候领域正在经历重大转变，这要归功于基于人工智能的基础模型（如FourCastNet、GraphCast、ClimaX和Pangu-Weather）的进步。虽然这些模型显示出相当大的潜力，但它们尚未准备好用于天气预报或气候预测的运营。这是因为它们的工作流程中缺乏数据同化方法，以实时地使入射的地球系统观测数据同化。这种限制影响了它们在预测复杂的大气现象（如热带气旋和大气河流）方面的有效性。为了克服这些障碍，我们介绍了一个通用的实时数据同化框架，并在Frontier超级计算机上展示了其端到端性能。该框架包括两个主要模块：一个集合评分滤波器（EnSF），它明显优于最先进的数据同化方法，即局部集合变换卡尔曼滤波器（LETKF）；以及一个基于视觉变换器的代理，能够通过整合观测数据进行实时适应。ViT代理可以代表基于物理的模型或基于人工智能的基础模型。我们展示了我们的框架在Exascale超级计算机Frontier上的强大和弱化缩放。我们的结果不仅说明了该框架在高性能计算系统上的出色可扩展性，还展示了超级计算机在天气和气候预测的实时数据同化中的重要性。尽管该提议的框架仅在基准表面准地转换（SQG）湍流系统上进行了测试，但它有潜力与现有的基于人工智能的基础模型相结合，使其适用于未来的运营实现。

本论文旨在解决AI-based foundation models在气象和气候预测中的数据同化问题，以提高其预测效果。

论文提出了一个通用的实时数据同化框架，其中包括一个集合得分滤波器（EnSF）和一个基于视觉转换器的代理，能够实时适应观测数据。该框架可与现有的AI-based foundation models结合使用，以实现未来的操作实现。

论文的实验结果表明，该框架在高性能计算系统上具有卓越的可扩展性，并且在气象和气候预测的实时数据同化中具有重要意义。此外，论文还介绍了一些基于AI的基础模型，如FourCastNet、GraphCast、ClimaX和Pangu-Weather。

最近在这个领域中的相关研究包括：1. 'Deep Learning for Precipitation Nowcasting: A Benchmark and A New Model'；2. 'Machine Learning for Precipitation Retrieval from Satellite Passive Microwave Radiometry: A Review'；3. 'Deep Learning-Based Super-Resolution of Satellite-Derived Cloud Imagery'。