作者：Ivan Rubachev, Artem Alekberov, Yury Gorishniy,等

简介：近期针对表格数据的深度学习模型目前正在与基于决策树 (GBDT) 的传统 ML 模型展开竞争。与 GBDT 不同，深度模型还可以从预训练中受益，这是 DL 用于视觉和 NLP 的主力。对于表格问题，提出了几种预训练方法，但尚不完全清楚预训练是否提供一致的显着改进以及应该使用哪种方法，因为这些方法通常不会相互比较，或者比较仅限于最简单的 MLP 架构。
在这项工作中，作者的目标是确定预训练表格 DL 模型的最佳实践，这些模型可以普遍应用于不同的数据集和架构。在作者的研究结果中，作者表明在预训练阶段使用对象目标标签有利于下游性能，并提倡几个目标感知预训练目标。总体而言，作者的实验表明，正确执行的预训练显着提高了表格 DL 模型的性能，这通常导致它们优于 GBDT。

 

论文下载： https://arxiv.org/pdf/2207.03208

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除