Small Language Models (SLMs) Can Still Pack a Punch: A survey

随着基础人工智能模型的规模不断增大，一个重要的问题浮现出来——大规模化是唯一的前进道路吗？本综述涵盖了大约160篇论文，介绍了一组参数量在10亿到80亿之间的小型语言模型（SLMs），这些模型展示了小型模型可以表现得与大型模型一样好，甚至优于大型模型。我们探讨了任务无关的、通用的小型语言模型、特定任务的小型语言模型以及创建小型语言模型的技术，这些技术可以引导社区在平衡性能、效率、可扩展性和成本的同时构建模型。此外，我们定义并描述了小型语言模型的有效规模，这代表了相对于大型语言模型而言能力的提升。

该论文试图探讨并验证是否只有通过不断增大模型规模才能提升语言模型的性能，这是一个在当前深度学习领域中广泛讨论的问题。它挑战了现有的以大规模模型为发展方向的趋势，并提出小规模模型（SLMs）可能具有与大型模型相当甚至更优的性能。

关键思路在于探索和证明小型语言模型（1至80亿参数范围）能够在特定任务或通用任务上匹敌甚至超越更大规模的语言模型。相比现有研究，这篇论文强调了通过优化架构设计、训练策略及数据使用效率来提高小模型的能力，而不是单纯依赖参数数量的增长。

论文关注了任务无关型和任务特定型的小型语言模型，并提出了创建这些模型的技术路径。此外，定义了有效规模的概念，用以衡量小型模型相对于大型模型的能力增长。实验部分涵盖了多种自然语言处理任务，并使用了公开可用的数据集进行测试。值得注意的是，这项工作鼓励社区考虑性能、效率、可扩展性和成本之间的平衡来构建模型。文中还提到有开源代码支持进一步的研究和发展。

最近在这个领域，相关研究包括但不限于：1)《Scaling Laws for Neural Language Models》, 探讨了神经语言模型随规模变化的表现规律；2)《Big Bird: Transformers for Longer Sequences》, 研究如何让变压器处理更长序列；3)《Efficiently Training Transformers at Scale》, 关注大规模变压器的有效训练方法。