Mixup Model Merge: Enhancing Model Merging Performance through Randomized Linear Interpolation

模型融合通过整合多个模型的参数，将它们不同的能力结合到一个统一的模型中。现有的模型融合方法通常受限于固定的参数融合比例。在本研究中，我们提出了一种创新的方法——Mixup模型融合（M³），该方法受到Mixup数据增强技术的启发。此方法通过随机生成线性插值比例来融合两个大语言模型（LLM）的参数，从而能够更灵活和全面地探索参数空间。广泛的实验表明，我们提出的M³方法在融合微调后的LLM方面具有显著优势：（1）它在多个任务上显著提高了性能；（2）增强了LLM的分布外（OOD）鲁棒性和对抗鲁棒性；（3）与稀疏化技术如DARE结合时，取得了更优异的结果；（4）提供了一种简单而高效的解决方案，且不需要额外的计算资源。总之，M³是一种简单而有效的模型融合方法，通过为两个微调后的LLM随机生成贡献比例，显著提升了融合模型的性能。代码可在https://github.com/MLGroupJLU/MixupModelMerge 获取。

论文试图解决现有模型合并方法中参数合并比例固定的问题，提出一种更灵活的模型合并方法来提升大型语言模型（LLMs）的性能和鲁棒性。这是一个在模型合并领域中的新尝试，旨在通过改进合并策略提高模型的综合能力。

关键思路是引入Mixup数据增强技术到模型合并过程中，通过随机生成线性插值比率来合并两个经过微调的大型语言模型的参数。相比传统方法，M³提供了更灵活的参数空间探索方式，从而可能发现更优的模型组合。

论文展示了M³方法在多个任务上的显著性能提升，增强了模型的OOD和对抗性鲁棒性，并且与稀疏化技术如DARE结合时效果更好。实验设计包括广泛的测试，验证了该方法的有效性和效率。代码已开源，方便后续研究者复现和进一步优化。值得继续深入的研究方向包括但不限于将此方法应用于更多类型的模型以及不同领域的任务。

最近的相关研究包括使用知识蒸馏、参数共享和其他混合策略来改进模型合并的效果。例如，《Distilling the Knowledge in a Neural Network》探讨了如何从复杂模型中提取知识到更简单的模型；《Parameter-Efficient Transfer Learning for NLP》则聚焦于参数高效的迁移学习方法。