Towards Pareto Optimal Throughput in Small Language Model Serving

大型语言模型（LLMs）已经彻底改变了许多不同自然语言处理任务的最新技术。虽然为LLMs提供服务需要大量的计算和内存，但小型语言模型（SLMs）的崛起为资源受限的用户提供了新的机会，他们现在能够使用具有前沿性能的小型模型。本文介绍了一系列旨在对SLM推理性能和能量水平进行基准测试的实验。我们的分析提供了一种新的服务视角，强调SLMs的小内存占用量使得在单个加速器的资源容量内达到帕累托最优吞吐量成为可能。在这方面，我们提出了一组初步的发现，证明了模型复制如何有效地提高为SLMs提供服务的资源利用率。

本文旨在评估小型语言模型（SLMs）的性能和能源消耗，并探讨如何通过模型复制来提高资源利用率。

通过实验发现，SLMs由于其小内存占用量，可以在单个加速器的资源容量内达到 Pareto 最优吞吐量，并且模型复制可以有效提高资源利用率。

实验设计了一组评估SLM推理的实验，并提供了开源代码和数据集。该研究为资源受限的用户提供了使用具有前沿性能的小型模型的新机会。模型复制的方法可以在保证性能的同时提高资源利用率。

最近的相关研究主要集中在大型语言模型（LLMs）的性能和推理加速上，如GPT-3，T5等。