Joint Optimization of Piecewise Linear Ensembles

树集成在贪心优化的情况下仍然实现了最先进的性能。全局细化（GR）通过同时和全局地优化所有常数叶来减少贪婪性。我们提出了分段线性集成的联合优化（JOPLEN），这是GR的分段线性扩展。与GR相比，JOPLEN提高了模型的灵活性，并且可以对非线性预测应用常见的惩罚，包括稀疏促进矩阵范数和子空间范数。我们评估了146个回归和分类数据集的Frobenius范数，$\ell_{2,1}$范数和拉普拉斯正则化；JOPLEN与GB树和RF相结合在两种情况下均实现了优异的性能。此外，JOPLEN通过核范数惩罚在经验上学习平滑和子空间对齐的函数。最后，我们通过扩展Dirty LASSO来执行多任务特征选择。JOPLEN Dirty LASSO在特征稀疏性/性能权衡方面实现了优越的表现，超过了线性和梯度增强方法。我们预计JOPLEN将在许多领域中改善回归、分类和特征选择。

论文旨在提出一种新的全局优化方法，以改善树集成模型的灵活性和非线性预测的惩罚方法，并在回归和分类任务中实现更好的性能。

JOPLEN是一种基于分段线性模型的全局优化方法，可以应用多种惩罚方法，包括稀疏促进矩阵范数和子空间范数，以提高模型的灵活性和预测性能。

论文在146个回归和分类数据集上评估了JOPLEN与GB树和RF相结合的性能，并发现JOPLEN在这两个任务中均取得了优异的表现。此外，论文还使用核范数惩罚实现了平滑和子空间对齐的函数学习，并通过扩展Dirty LASSO实现了多任务特征选择。

与此相关的最新研究包括：《A Survey on Transfer Learning》、《Deep Forest: Towards An Alternative to Deep Neural Networks》、《XGBoost: A Scalable Tree Boosting System》等。