ORBIT: Oak Ridge Base Foundation Model for Earth System Predictability

地球系统的可预测性受到环境动态复杂性和涉及的变量数量的挑战。当前的人工智能基础模型虽然通过利用大量异构数据而得到了发展，但往往受到其大小和数据集成的限制，限制了它们在解决整个地球系统预测挑战方面的有效性。为了克服这些限制，我们介绍了橡树岭基础地球系统可预测性模型（ORBIT），这是一种先进的视觉转换器模型，使用一种新颖的混合张量数据正交并行技术，可扩展到1130亿个参数。作为同类模型中最大的模型，ORBIT的规模比当前的气候人工智能基础模型大一千倍。在Frontier超级计算机上进行的性能扩展测试表明，ORBIT在24,576个AMD GPU上实现了230到707 PFLOPS的性能，扩展效率在78%到96%之间保持稳定。这些突破在基于人工智能的气候建模方面建立了新的进展，表明有望显著提高地球系统的可预测性。

本论文旨在解决地球系统预测中的挑战，包括环境动态的复杂性和涉及的多种变量。作者引入了一个名为ORBIT的基于视觉转换器的模型，通过使用新颖的混合张量数据正交并行技术，可扩展至1130亿个参数，是目前气候AI基础模型大小的千倍。

本论文的关键思路是使用ORBIT模型来提高地球系统预测的准确性。ORBIT模型采用了新颖的混合张量数据正交并行技术，使得模型可扩展至1130亿个参数，是目前气候AI基础模型大小的千倍。

本论文的亮点包括：ORBIT模型是目前气候AI基础模型大小的千倍；ORBIT模型采用了新颖的混合张量数据正交并行技术；ORBIT模型在Frontier超级计算机上的表现非常出色，可实现230至707 PFLOPS的性能，并且在24,576 AMD GPUs的情况下保持78％至96％的扩展效率。

在这个领域中，最近的相关研究包括：1. “Deep Learning for Earth System Science”；2. “Machine learning for global ocean biogeochemistry: a review”；3. “Machine learning for large-scale remote sensing studies: a review”等。