Improving GBDT Performance on Imbalanced Datasets: An Empirical Study of Class-Balanced Loss Functions

在机器学习中，特别是对于表格数据分类任务，类别不平衡仍然是一个重要的挑战。虽然梯度提升决策树（GBDT）模型在这些任务中已被证明非常有效，但是当处理不平衡的数据集时，它们的性能可能会受到影响。本文首次对三种GBDT算法适应类平衡损失函数在各种表格分类任务中的表现进行了全面的研究，包括二元、多类和多标签分类。我们在多个数据集上进行了大量实验，评估了类平衡损失对不同GBDT模型的影响，建立了有价值的基准。结果表明，类平衡损失函数可以提高GBDT在不平衡数据集上的性能，为在现实世界应用中面临类别不平衡挑战的从业者提供了一种强大的方法。此外，我们还介绍了一个Python包，可以将类平衡损失函数集成到GBDT工作流中，使这些高级技术更容易被更广泛的人群使用。

在机器学习中，类别不平衡是一个重要的挑战，特别是对于表格数据分类任务。本文旨在解决GBDT模型在处理不平衡数据集时性能下降的问题。

本文首次对三种GBDT算法在各种表格分类任务（包括二元、多类和多标签分类）中采用类平衡损失函数进行了全面研究，证明了类平衡损失函数可以提高GBDT在不平衡数据集上的性能。同时，作者还开发了一个Python包，方便将类平衡损失函数集成到GBDT工作流中。

本文的亮点包括：1. 首次对三种GBDT算法在不平衡数据集上采用类平衡损失函数进行了全面研究；2. 实验结果表明，类平衡损失函数可以提高GBDT在不平衡数据集上的性能；3. 作者开发了一个Python包，方便将类平衡损失函数集成到GBDT工作流中。

最近相关的研究包括：1. "Learning from Imbalanced Data"；2. "A survey of resampling techniques for imbalanced data in classification tasks"；3. "Cost-sensitive learning and the class imbalance problem in machine learning"。