Mixture of Parrots: Experts improve memorization more than reasoning

混合专家（MoE）架构能够在计算开销最小的情况下显著增加模型参数的总数。然而，尚不清楚在性能上，MoE与标准的密集型变压器之间是否存在任何权衡。在这篇论文中，我们展示了随着专家数量的增加（同时固定活跃参数的数量），记忆性能会持续提升，而推理能力则趋于饱和。我们首先分析了MoE在推理方面的理论限制。我们证明，存在某些宽度的专家无法解决的图问题；然而，相同任务可以通过稍大一些宽度的密集模型轻松解决。另一方面，我们发现，在记忆密集型任务中，MoE可以有效地利用少量活跃参数和大量专家来记忆数据。我们在合成图问题和记忆密集型闭书检索任务上对这些发现进行了实证验证。最后，我们预训练了一系列MoE和密集型变压器，并在数学和自然语言的常用基准测试中对它们进行了评估。我们发现，增加专家数量有助于解决知识密集型任务，但在推理任务上未能带来同样的好处。

该论文探讨了Mixture-of-Experts (MoE) 架构在模型参数增加时对性能的影响，特别是在记忆任务和推理任务之间的权衡。这是一个相对较新的问题，因为尽管MoE架构已经存在，但其在不同任务上的具体表现和理论限制尚未完全明确。

论文的关键思路是通过理论分析和实验证明，随着专家数量的增加，MoE模型在记忆任务上的表现会持续提升，但在推理任务上的能力会趋于饱和。此外，论文还证明了某些图问题无法通过任何数量的特定宽度的专家来解决，而相同的问题可以通过稍宽的密集模型轻松解决。这一发现揭示了MoE模型在不同任务上的潜在局限性。

论文通过合成图问题和记忆密集型闭书检索任务进行了实证验证，展示了MoE模型在不同类型任务上的表现差异。此外，论文还对一系列预训练的MoE模型和密集变压器进行了评估，使用了数学和自然语言处理的常用基准测试。这些实验设计和数据集的选择为研究提供了坚实的实证基础。论文没有提到是否开源代码，但提出了一些值得进一步研究的方向，例如如何优化MoE模型在推理任务上的表现。

最近在这个领域的一些相关研究包括： 1. "Sparse MoE meets Dense Transformer: A Unified Framework for Efficient Inference" - 探讨了稀疏MoE与密集Transformer结合的方法。 2. "Adaptive Mixture of Experts for Large-Scale Language Modeling" - 研究了自适应MoE在大规模语言建模中的应用。 3. "On the Expressivity of Mixture of Experts: Representational Power, Benefits and Limitations" - 深入分析了MoE模型的表达能力和局限性。 4. "Efficient and Effective Transfer Learning from Mixture of Experts Models" - 探讨了从MoE模型中进行有效迁移学习的方法。