DLO: Dynamic Layer Operation for Efficient Vertical Scaling of LLMs

本文介绍了一种新颖的方法——动态层操作（Dynamic Layer Operations，DLO），用于通过基于层内特征相似性的复杂路由策略，动态地扩展、激活或跳过层，从而实现纵向扩展基于Transformer的大型语言模型（Large Language Models，LLMs）。与传统的专家混合（Mixture-of-Experts，MoE）方法专注于扩展模型宽度不同，我们的方法针对模型深度，解决了在不同输入样本的层表示中观察到的冗余问题。我们的框架与监督微调（Supervised Fine-Tuning，SFT）阶段集成，消除了需要资源密集型的持续预训练（Continual Pre-Training，CPT）的需求。实验结果表明，DLO不仅优于原始未缩放的模型，而且在显著提高效率的同时，也实现了与密集扩展模型相当的结果。我们的工作为构建高效而强大的LLMs提供了一个有前途的方向。我们将在接受后发布我们的实现和模型权重。

本文旨在通过动态扩展、激活或跳过层来解决大型语言模型中层表示冗余的问题，从而提高模型的效率和性能。

本文提出了一种新颖的动态层操作（DLO）方法，通过基于层内特征相似性的路由策略，动态地扩展、激活或跳过层，从而在不增加模型宽度的情况下提高模型深度。

本文的实验结果表明，DLO不仅优于原始未缩放模型，而且在显著提高效率的同时，也达到了与密集扩展模型相当的结果。此外，本文的方法也避免了资源密集型的持续预训练阶段，为构建高效而强大的大型语言模型提供了一种有前途的方向。

在这个领域中，最近的相关研究包括：《Mixture Models for Diverse Machine Translation: Tricks of the Trade》、《ReZero is All You Need: Fast Convergence at Large Depth》等。