Densing Law of LLMs

大型语言模型（LLMs）已成为人工智能领域的一个里程碑，其性能随着模型规模的增加而提升。然而，这种扩展给训练和推理效率带来了巨大挑战，尤其是在资源受限的环境中部署LLMs时，这一扩展趋势正变得越来越不可持续。本文引入了“容量密度”这一概念，作为评估不同规模LLMs质量的新指标，并从有效性和效率两个方面描述了LLMs的发展趋势。为了计算给定目标LLM的容量密度，我们首先介绍了一组参考模型，并开发了一个缩放定律，以根据这些参考模型的参数规模预测其下游性能。然后，我们将目标LLM的“有效参数规模”定义为参考模型达到等效性能所需的参数规模，并将容量密度形式化为目标LLM的有效参数规模与其实际参数规模之比。容量密度提供了一个统一的框架来评估模型的有效性和效率。我们对最近的开源基础LLMs进行进一步分析，揭示了一个经验定律（即密集定律），即LLMs的容量密度随时间呈指数增长。更具体地说，使用一些广泛使用的基准进行评估，LLMs的容量密度大约每三个月翻一番。这一定律为未来的LLM发展提供了新的视角，强调了提高容量密度的重要性，以实现最小计算开销下的最优结果。

论文试图解决大型语言模型（LLMs）在资源受限环境下部署时面临的训练和推理效率挑战，特别是在模型规模持续增长的趋势下，这种挑战变得越来越不可持续。这是一个需要新方法来解决的问题。

论文提出了一个新的评估指标——‘容量密度’（capacity density），用于综合评估LLMs的有效性和效率。容量密度定义为有效参数量与实际参数量的比值，其中有效参数量是指参考模型达到相同性能所需的参数量。这一概念提供了一个新的视角来指导未来LLM的发展。

1. 通过引入容量密度，论文提供了一种统一的框架来评估不同规模的LLMs。2. 研究发现容量密度随时间呈指数增长，大约每三个月翻一番。3. 论文使用了多个广泛使用的基准测试进行评估，并提供了详细的实验设计。4. 论文强调了提高容量密度的重要性，以实现最优结果并减少计算开销。5. 代码和部分模型已开源，便于复现和进一步研究。

1. 'The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks' - 这篇论文探讨了稀疏性对模型性能的影响。 2. 'Pruning Neural Networks Without Any Data by Iteratively Conserving Synaptic Flow' - 提出了无需数据的剪枝方法，以提高模型效率。 3. 'Smaller, Faster, Cheaper, Lighter: Efficient On-Device Machine Learning' - 探讨了如何在设备上高效部署机器学习模型。 4. 'EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks' - 提出了更高效的模型缩放方法，适用于卷积神经网络。