Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities

模型合并是机器学习社区中一种高效的增强技术，不需要收集原始训练数据，也不需要昂贵的计算。随着模型合并在各个领域中变得越来越普遍，全面了解可用的模型合并技术变得至关重要。然而，在文献中存在一个显著的空白，缺乏对这些技术进行系统和全面的审查。本文综述了模型合并方法和理论、它们在各个领域和环境中的应用以及未来的研究方向。具体来说，我们首先提出了一种新的分类方法，全面讨论了现有的模型合并方法。其次，我们讨论了模型合并技术在大型语言模型、多模态大型语言模型和10个以上的机器学习子领域中的应用，包括持续学习、多任务学习、少样本学习等。最后，我们强调了模型合并面临的剩余挑战，并讨论了未来的研究方向。有关模型合并的论文的全面列表可在以下网址找到：\url{https://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications}。

综述和总结模型合并方法在机器学习中的应用及未来研究方向。

提出了一种新的分类方法，全面讨论了现有的模型合并方法，探讨了模型合并技术在大语言模型、多模态大语言模型和10多个机器学习子领域中的应用。

论文详细介绍了模型合并技术的应用，提供了一个包含模型合并论文的清单，并讨论了模型合并面临的挑战和未来研究方向。

近期的相关研究包括《Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics》、《Model-Agnostic Meta-Learning for Few-Shot Learning》等。