标题：弗莱堡大学、莱布尼茨大学｜Regularization is all you Need:Simple Neural Nets can Excel on Tabular Data（正则化就是你所需要的：简单的神经网络可以在表格数据上表现出色）

简介：表格数据集是深度学习的最后一座“未征服的城堡”，与传统的梯度提升决策树等机器学习方法仍然表现强劲，即使相比最近的专用神经架构。在本文中，我们假设提升神经网络性能的关键在于重新思考联合并同时应用大量现代正则化技术。因此，我们建议对普通多层感知器网络进行正则化通过搜索 13 种正则化技术的最佳组合/混合，对每个数据集使用联合优化来决定哪些正则化器应用及其附属超参数。我们凭经验评估了这些正则化鸡尾酒对MLP的影响包含40个表格数据集的大规模实证研究并证明(1)规范化的普通 MLP 显着优于最近的最新技术专门的神经网络架构，并且(2)它们甚至表现出色传统的机器学习方法，例如 XGBoost。