Linear Mode Connectivity in Differentiable Tree Ensembles

线性模连通性（LMC）是指线性插值模型在参数空间中表现一致的现象。对于来自不同随机初始化的独立优化模型对，实现LMC被认为是验证现代机器学习模型中非凸优化稳定成功的关键，也有助于实现基于参数的实际操作，例如模型合并。虽然通过考虑每个隐藏层中神经元的置换不变性已经实现了神经网络的LMC，但对于其他模型的实现仍然是一个未解决的问题。在本文中，我们首先实现了软树集成的LMC，这是广泛使用的基于树的可微模型。我们展示了需要结合两种不变性：子树翻转不变性和分裂顺序不变性，这些不变性不存在于神经网络中，但对于树形结构是固有的，除了树的置换不变性。此外，我们证明了通过设计基于决策列表的树形结构，即使排除这些额外的不变性，也可以保持LMC，因为这些不变性在定义上不存在于这种结构中。我们的发现表明，在实现LMC时考虑特定于架构的不变性的重要性。

本论文旨在解决线性模式连通性（LMC）在树模型中的问题，以验证非凸优化在现代机器学习模型中的稳定成功以及促进模型合并等实际参数操作的可行性。

通过考虑树架构的特定不变性，如子树翻转不变性和分裂顺序不变性，实现了软树集成模型的LMC。同时，通过设计决策列表树架构，即使在不考虑这些额外的不变性的情况下，也可以保持LMC。

该论文的亮点在于成功实现了树模型的LMC，并且提出了考虑架构特定不变性的方法。实验使用了广泛使用的可微分树模型和数据集，并且开源了代码。这些发现有助于深入研究树模型的优化和合并方法。

最近的相关研究包括：《Permutation Invariant Neural Networks》、《Learning Deep Networks with Output Mixtures of Experts》等。