Computational Bottlenecks of Training Small-scale Large Language Models

虽然大型语言模型（LLMs）在人工智能领域占据主导地位，但由于消费者对成本和效率的需求，小型大规模语言模型（SLMs）正逐渐受到关注。然而，关于SLMs的训练行为和计算需求的研究仍然有限。在这项研究中，我们通过考察不同超参数和配置的影响，包括GPU类型、批处理大小、模型规模、通信协议、注意力机制类型以及GPU数量，探索了训练SLMs（最多20亿参数）的计算瓶颈。我们使用流行的云服务，以每美元损失和每秒处理的令牌数等指标评估这些因素。我们的研究结果旨在支持低资源人工智能研究机构更广泛地采用和优化语言模型训练。

该论文试图解决小规模大型语言模型（SLMs，参数量最多达20亿）在训练过程中的计算瓶颈问题。这是为了满足消费者对成本和效率的需求，而目前关于SLMs的研究相对较少。

论文的关键思路是通过系统地评估不同超参数和配置对SLMs训练的影响，包括GPU类型、批处理大小、模型大小、通信协议、注意力机制类型和GPU数量等。研究旨在优化SLM的训练过程，支持低资源AI研究机构更高效地进行语言模型训练。相比现有研究，该论文更专注于SLMs的具体训练行为和计算需求。

论文设计了一系列实验，使用流行的云服务来评估不同配置下的性能指标，如每美元损失和每秒处理的token数。研究还考虑了不同的硬件和软件配置，为实际应用提供了详细的参考。此外，论文没有提到是否有开源代码，但其结果对于未来的研究和实践具有重要指导意义，特别是对于资源有限的研究团队。

最近在这个领域中，还有一些相关的研究，例如： 1. "Efficient Training of Large-Scale Language Models with Sparse Attention" - 探讨了稀疏注意力机制在大规模语言模型训练中的应用。 2. "Optimizing Transformer Architectures for Low-Resource Settings" - 研究了如何优化Transformer架构以适应低资源环境。 3. "A Comparative Study of Small-Scale Language Models for Resource-Constrained Applications" - 对不同规模的小型语言模型在资源受限场景下的表现进行了比较。