Mixtral of Experts

我们介绍了Mixtral 8x7B，一种稀疏专家混合（SMoE）语言模型。Mixtral与Mistral 7B具有相同的架构，不同之处在于每个层由8个前馈块（即专家）组成。对于每个标记，在每个层中，路由器网络选择两个专家来处理当前状态并组合它们的输出。尽管每个标记只看到两个专家，但所选专家在每个时间步骤中可能不同。因此，每个标记可以访问47B参数，但在推断期间仅使用13B活动参数。Mixtral使用32k标记的上下文大小进行训练，并在所有评估基准测试中优于或与Llama 2 70B和GPT-3.5相匹配。特别是，在数学、代码生成和多语言基准测试中，Mixtral远远优于Llama 2 70B。我们还提供了一个Fine-tuned模型，Mixtral 8x7B - Instruct，它在人类基准测试上超过了GPT-3.5 Turbo、Claude-2.1、Gemini Pro和Llama 2 70B - chat model。基础模型和指导模型均在Apache 2.0许可下发布。

Mixtral 8x7B试图解决的问题是提高自然语言处理模型的性能，在各项基准测试中超过其他模型。这是一个新问题，与当前领域的研究状况相关。

Mixtral 8x7B的关键思路是使用稀疏混合专家（SMoE）架构，每个层由8个前馈块（即专家）组成。每个标记在每个层上都有一个路由器网络，选择两个专家来处理当前状态并组合它们的输出。这种方法可以提高模型的性能，因为每个标记只看到两个专家，但选择的专家在每个时间步骤上可能不同。同时，Mixtral 8x7B使用了32k标记的上下文大小，在各项基准测试中表现优异。

Mixtral 8x7B在各项基准测试中表现优异，比Llama 2 70B和GPT-3.5表现更好。特别是在数学、代码生成和多语言基准测试中，Mixtral 8x7B远远优于Llama 2 70B。此外，Mixtral 8x7B - Instruct模型在遵循指令方面的表现超过了其他模型。研究者还提供了开源代码，模型可以在Apache 2.0许可下使用。

与Mixtral 8x7B相关的研究包括Llama 2 70B和GPT-3.5等自然语言处理模型。此外，还有一些使用SMoE架构的模型，如Mistral 7B等。