Better by Default: Strong Pre-Tuned MLPs and Boosted Trees on Tabular Data

最近，对于表格数据的分类和回归问题，通常需要进行大量超参数调整的深度学习方法挑战了梯度提升决策树（GBDT）的优势，尽管深度学习方法速度较慢。我们通过引入（a）RealMLP，即改进的多层感知器（MLP），以及（b）改进的GBDT和RealMLP默认参数来解决这种差异。我们在一个元训练基准测试中对RealMLP和默认参数进行调整，该基准测试包括71个分类和47个回归数据集，并将它们与48个分类和42个回归数据集的超参数优化版本以及Grinsztajn等人（2022）友好的GBDT基准测试进行比较。我们的基准测试结果显示，RealMLP提供了比其他神经网络更好的时间-准确性平衡，并且与GBDT竞争力强。此外，在中等大小的表格数据集（1K-500K个样本）上，RealMLP和具有改进默认参数的GBDT的组合可以在不进行超参数调整的情况下实现出色的结果。

论文旨在解决在表格数据分类和回归中，梯度提升决策树（GBDT）的支配地位被深度学习方法挑战的问题，提出了改进的多层感知机（MLP）RealMLP和改进的默认参数，以达到更好的时间-准确性平衡。

论文的关键思路是引入RealMLP和改进的默认参数，并在元训练基准测试上对其进行调优，然后将其与元测试基准测试和GBDT友好的基准测试进行比较。结果表明，RealMLP提供了比其他神经网络更好的时间-准确性平衡，并且与GBDT具有竞争力。此外，RealMLP和具有改进的默认参数的GBDT的组合可以在中等大小的表格数据集上（1K-500K个样本）实现出色的结果，而无需进行超参数调整。

论文通过在元训练基准测试上对RealMLP和默认参数进行调优，并将其与其他神经网络和GBDT进行比较，展示了RealMLP在时间-准确性平衡方面的优势。此外，RealMLP和具有改进的默认参数的GBDT的组合在中等大小的表格数据集上可以实现出色的结果，而无需进行超参数调整。研究使用了71个分类和47个回归数据集进行元训练基准测试，48个分类和42个回归数据集进行元测试基准测试。研究结果显示，RealMLP在表格数据分类和回归中具有潜力。

最近的相关研究包括Grinsztajn等人（2022）提出的GBDT友好的基准测试。