ArchesWeather: An efficient AI weather forecasting model at 1.5° resolution

本文介绍了在设计基于人工智能的天气预报系统时的一个指导原则，即在神经网络架构中嵌入物理约束作为归纳先验。一种流行的先验是局部性，其中大气数据通过局部神经交互进行处理，例如使用3D卷积或Pangu-Weather中的3D局部注意窗口。另一方面，一些研究表明，在不使用这种局部性原则的情况下，天气预报取得了巨大的成功，但代价是更高的参数数量。本文展示了Pangu-Weather中的3D局部处理在计算上是次优的。我们设计了ArchesWeather，这是一个变压器模型，结合了2D注意力和基于列的注意力特征交互模块，并证明了这种设计可以提高预测技能。ArchesWeather在1.5度分辨率和24小时提前时间下进行训练，训练预算为几个GPU天，推理成本低于竞争方法。我们最好的两个模型的集合显示出与IFS HRES竞争的RMSE分数，并且在一天的预测中优于1.4度50成员NeuralGCM集合。代码和模型将公开发布在https://github.com/gcouairon/ArchesWeather。

论文旨在解决天气预报中的局部性问题，提出一种新的神经网络架构ArchesWeather，用于提高天气预报的准确性。

ArchesWeather模型采用了2D注意力机制和基于列的注意力特征交互模块，相比于当前局部神经网络架构，提升了天气预报的准确性。

论文在1.5度分辨率和24小时提前量的训练下，使用了较少的GPU时间和较低的推理成本。模型的代码和模型将在github上公开。最终的实验结果表明，ArchesWeather模型的表现优于竞争方法，并且在一天的天气预报中超过了1.4度50成员神经GCM集合。

近期的相关研究包括Pangu-Weather等采用局部神经网络架构的方法，以及NeuralGCM等使用高参数计数的方法。