Configurable Foundation Models: Building LLMs from a Modular Perspective

最近，LLM的进展揭示了与计算效率和持续可扩展性相关的挑战，由于它们需要大量参数，使得在计算资源有限的设备和需要各种能力的情况下应用和发展这些模型变得越来越麻烦。受人类大脑模块化的启发，越来越多的人倾向于将LLM分解为许多功能模块，允许对部分模块进行推理和动态组装模块来解决复杂任务，如专家混合。为了突出模块化方法的固有效率和可组合性，我们将术语“brick”用于表示每个功能模块，将模块化结构指定为可配置的基础模型。在本文中，我们全面概述和研究了可配置基础模型的构建、利用和局限性。我们首先将模块形式化为新兴的brick——在预训练阶段出现的功能神经元分区和定制brick——通过额外的后期训练构建的brick，以提高LLM的能力和知识。基于不同的功能brick，我们进一步提出了四个brick导向的操作：检索和路由、合并、更新和增长。这些操作允许根据指令动态配置LLM来处理复杂任务。为了验证我们的观点，我们对广泛使用的LLM进行了实证分析。我们发现，FFN层遵循具有神经元功能专业化和功能神经元分区的模块化模式。最后，我们强调了未来研究的几个开放问题和方向。总的来说，本文旨在为现有的LLM研究提供新的模块化视角，并激发未来更高效、可扩展的基础模型的创造。

论文旨在解决大规模语言模型（LLMs）在计算效率和可扩展性方面的挑战，提出了一种模块化方法来构建可配置的基础模型。

论文提出了将LLMs分解为多个功能模块的思路，并将每个模块称为“brick”，通过四种brick-oriented操作来动态配置LLMs以处理复杂任务。

论文提出了一种新的模块化方法来构建LLMs，通过实验证明了模块化方法的有效性，提高了计算效率和可扩展性。实验使用了广泛使用的LLMs，并提供了开源代码。

近期的相关研究包括《Attention Is All You Need》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。