Harmony in Diversity: Merging Neural Networks with Canonical Correlation Analysis

将多个训练模型的预测结果通过集成的方式结合起来通常是提高准确性的好方法，因为可以利用模型学习到的不同特征，但是这种方法的计算和存储成本很高。将多个模型合并成一个模型的模型融合方法可以降低这些成本，但实际效果不是很好。事实上，神经网络的损失函数是高维的、非凸的，通过学习得到的最小值通常被高损失障碍物所分隔。近年来，许多研究工作都集中在寻找将一个网络的特征与第二个网络的特征匹配的排列，从而降低参数空间中它们之间的线性路径上的损失障碍物。然而，排列是有限制的，因为它们假定不同模型的神经元之间存在一一映射。我们提出了一种新的模型合并算法，称为CCA Merge，它基于规范相关分析，旨在最大化模型特征的线性组合之间的相关性。我们证明，我们的对齐方法在平均训练在相同或不同数据集分割上的模型时，比过去的方法表现更好。我们还将这个分析扩展到更难的情况，即合并两个以上的模型，发现CCA Merge比过去的方法效果显著更好。我们的代码可以在https://github.com/shoroi/align-n-merge上公开获取。

提出一种新的模型融合算法，旨在解决多个模型融合时存在的计算和存储成本高、模型融合效果不佳的问题。

该算法基于规范相关分析（CCA），通过最大化模型特征的线性组合之间的相关性来实现模型融合。相较于之前的方法，该算法不需要假设不同模型之间存在一一对应的神经元映射关系，能够更好地提高模型融合的效果。

论文通过实验验证了该算法在多个数据集上的优越性，同时提供了开源代码。此外，该算法还在多个模型融合的情况下得到了验证，相较于之前的方法，效果更佳。

最近的相关研究主要集中在通过不同的方法实现模型融合，如基于排列的方法。