Trillion Parameter AI Serving Infrastructure for Scientific Discovery: A Survey and Vision

深度学习方法正在改变研究方式，使新技术成为可能，并最终导致新的发现。随着对更强大的人工智能模型需求的不断增长，我们现在进入了一个万亿参数模型（TPM）的时代，即具有超过一万亿个参数的模型，如华为的PanGu-$\Sigma$。我们描述了一个面向科学界特定需求的TPM用户和提供者生态系统的愿景。然后，我们概述了为服务TPM而进行系统设计的重大技术挑战和开放问题。具体而言，我们描述了一个全面的软件堆栈和接口的要求，以支持研究人员的多样化和灵活的需求。

论文试图探讨如何为科学研究和发现提供支持，以应对越来越多的需要更强大AI模型的需求，特别是超过万亿参数的TPM模型。

论文提出了一个面向科学界的TPM生态系统的愿景，并描述了支持科学研究和发现所需的全面软件堆栈和接口的要求。

论文提出了一些技术挑战和开放问题，包括数据管理、存储、传输、计算和安全等方面。实验使用了华为的PanGu-Sigma模型进行验证，并展示了TPM模型在自然语言处理任务上的卓越性能。

最近的相关研究包括OpenAI的GPT-3模型、Google的Switch Transformer和Facebook的Turing-NLG等。