Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities

模型合并是机器学习社区中一种高效的增强技术，不需要收集原始训练数据，也不需要昂贵的计算。随着模型合并在各个领域中越来越普及，全面了解可用的模型合并技术变得至关重要。然而，目前文献中存在一个重要的差距，即缺乏对这些技术进行系统和全面审查的论述。本文综述了模型合并方法和理论的全面概述，以及它们在各种领域和环境中的应用和未来研究方向。具体而言，我们首先提出了一种新的分类方法，详尽地讨论了现有的模型合并方法。其次，我们讨论了模型合并技术在大型语言模型、多模态大型语言模型以及包括持续学习、多任务学习、少样本学习等在内的10多个机器学习子领域中的应用。最后，我们强调了模型合并面临的剩余挑战，并讨论了未来的研究方向。关于模型合并的全面论文列表可在 \url{https://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications} 上找到。

论文旨在综述模型合并方法及其应用，并提出一种新的分类方法，填补了该领域文献中的空白。

论文提出了一种新的分类方法，对现有的模型合并方法进行了全面的讨论，并探讨了这些方法在不同领域和场景中的应用。

论文探讨了模型合并方法在大型语言模型、多模态大型语言模型以及多个机器学习子领域中的应用，同时提出了模型合并面临的挑战和未来研究方向。论文作者还提供了一个包含模型合并论文的列表和开源代码的Github链接。

最近的相关研究主要集中在模型合并方法的改进和应用，如基于元学习的模型合并、基于知识蒸馏的模型合并等。相关论文包括：《Meta-Learning with Differentiable Convex Optimization》、《Knowledge Distillation: A Good Teacher is Patient and Consistent》等。