Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities

模型合并是机器学习领域中一种高效的增强技术，不需要收集原始训练数据，也不需要昂贵的计算。随着模型合并在各个领域中变得越来越流行，全面了解可用的模型合并技术变得至关重要。然而，文献中存在一个重要的差距，即缺乏对这些技术进行系统和全面的审查。本次调查提供了模型合并方法和理论的全面概述，它们在各种领域和环境中的应用以及未来的研究方向。具体而言，我们首先提出了一种新的分类方法，详细讨论了现有的模型合并方法。其次，我们讨论了模型合并技术在大型语言模型、多模态大型语言模型和10多个机器学习子领域中的应用，包括连续学习、多任务学习、少样本学习等。最后，我们强调了模型合并面临的挑战，并讨论了未来的研究方向。关于模型合并的论文的全面列表可在\url{https://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications}上找到。

本论文旨在全面综述模型合并方法及其理论、应用和未来研究方向。模型合并是一种高效的机器学习技术，但目前缺乏系统和全面的综述。

本文提出了一种新的分类方法，详细介绍了现有的模型合并方法，并讨论了模型合并技术在大型语言模型、多模态大型语言模型和10多个机器学习子领域中的应用。

本文提供了一个详细的模型合并方法列表，介绍了模型合并技术在多个领域中的应用，包括大型语言模型、多模态大型语言模型、持续学习、多任务学习、少样本学习等。此外，文中还讨论了模型合并面临的挑战和未来的研究方向，并提供了相关论文的链接。

最近的相关研究包括模型压缩、模型蒸馏、联邦学习等。相关论文包括：《Learning both Weights and Connections for Efficient Neural Networks》、《Distilling the Knowledge in a Neural Network》、《Communication-Efficient Learning of Deep Networks from Decentralized Data》等。