大多数最先进的天气和气候建模方法都是基于大气的物理学数值模型。这些方法旨在模拟非线性动力学和多个变量之间的复杂相互作用，这些变量很难近似。此外，许多此类数值模型的计算量很大，尤其是在以细粒度的空间和时间分辨率对大气现象进行建模时。
近期基于机器学习的数据驱动方法，旨在通过使用深度神经网络学习数据驱动的函数映射，来直接解决下游预测或投影任务。然而，这些网络是使用针对特定时空任务的精选和同质气候数据集进行训练的，因此缺乏数值模型的通用性。
微软自主系统与机器人研究小组以及微软研究院科学智能中心开发了 ClimaX，这是一种灵活且可推广的天气和气候科学深度学习模型，可以使用跨越不同变量、时空覆盖和物理基础的异构数据集进行训练。
ClimaX 使用新颖的编码和聚合块扩展了 Transformer 架构，这些块允许有效使用可用计算，同时保持通用性。ClimaX 在源自 CMIP6 的气候数据集上使用自我监督学习目标进行了预训练。然后可以对预训练的 ClimaX 进行微调，以解决广泛的气候和天气任务，包括那些涉及预训练期间看不到的大气变量和时空尺度的任务。
研究表明，与现有的数据驱动基线相比，ClimaX 中的这种普遍性导致天气预报和气候预测基准的卓越性能，即使在较低分辨率和计算预算下进行预训练也是如此。
该研究以「ClimaX: A foundation model for weather and climate」为题，于 2023 年 1月 24 日发布在 arXiv 预印平台。
论文链接：https://arxiv.org/abs/2301.10343
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢