Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models

大型语言模型（LLMs）的显著成功已经引领了自然语言处理（NLP）研究进入了一个新时代。尽管它们具有不同的能力，但是在不同语料库上训练的LLMs表现出不同的优势和劣势，这导致在最大化它们的整体效率和多功能性方面存在挑战。为了解决这些挑战，最近的研究探索了LLMs的协作策略。本文全面概述了这一新兴研究领域，强调了这种协作背后的动机。具体而言，我们将协作策略分为三种主要方法：合并、集成和合作。合并涉及将多个LLMs集成到参数空间中。集成将各种LLMs的输出组合起来。合作利用不同的LLMs使它们在特定任务中发挥其多样化的能力。我们从不同的角度提供了这些方法的深入介绍，并讨论了它们的潜在应用。此外，我们还概述了未来的研究方向，希望这项工作能够催生更多关于LLMs协作的研究，并为先进的NLP应用铺平道路。

本论文旨在解决大型语言模型（LLMs）在不同语料库上表现不同的问题，提出了合作策略来提高它们的效率和多功能性。

本论文提出了三种合作策略：合并、集成和合作，分别在参数空间、输出和任务上利用多个LLMs的不同优势。

论文从不同角度深入介绍了这些方法，并讨论了它们的潜在应用。此外，还提出了未来的研究方向。

最近的相关研究包括：《Language Models are Few-Shot Learners》、《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》等。