A Survey on Mixture of Experts

大型语言模型（LLMs）在各个领域取得了空前的进展，涵盖了自然语言处理、计算机视觉等多个领域。LLMs的强大能力源于其巨大的模型规模、广泛多样的数据集以及庞大的计算能力，这些因素共同促成了LLMs的新兴能力（例如上下文学习），这些能力在小型模型中并不存在。在这种情况下，专家混合模型（MoE）已经成为一种有效的方法，可以在最小的计算开销下大幅扩展模型容量，受到学术界和工业界的广泛关注。尽管MoE的应用越来越广泛，但缺乏对MoE文献的系统性和全面性综述。本调查旨在填补这一空白，为研究MoE的细节的研究人员提供重要资源。我们首先简要介绍MoE层的结构，然后提出了MoE的新分类法。接下来，我们概述了各种MoE模型的核心设计，包括算法和系统方面，以及可用的开源实现、超参数配置和经验评估的集合。此外，我们还阐述了MoE在实践中的多方面应用，并概述了未来研究的一些潜在方向。为了促进MoE研究中最新发展的持续更新和分享，我们建立了一个资源库，可在https://github.com/withinmiaov/A-Survey-on-Mixture-of-Experts上访问。

本文旨在系统综述混合专家模型（MoE）的相关研究，包括其结构、设计方案、应用及未来研究方向等。MoE是一种有效的方法，可以在减少计算开销的同时显著增加模型容量，但目前缺乏系统全面的综述。

本文提出了MoE的新分类法，并综述了各种MoE模型的核心设计和算法方面，包括可用的开源实现、超参数配置和实证评估。同时，本文还介绍了MoE在实践中的多方面应用，并提出了未来研究的潜在方向。

本文介绍了MoE的优点和在自然语言处理、计算机视觉等领域的应用。对比其他模型，MoE具有更好的上下文学习能力和更高的模型容量。本文提供了一个开放的资源库，包括最新的MoE研究进展和开源代码。

最近的相关研究包括《Attention is All You Need》、《Transformer-XL》、《GShard》等。