TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling

用于监督学习的表格数据深度学习架构从简单的多层感知机（MLP）到复杂的变压器和检索增强方法不等。本研究强调了一个重要的、但迄今为止被忽视的机会，即大幅改进表格MLP：参数高效的集成——这是一种将多个模型作为单一模型实现以生成多个预测的方法。我们首先开发了TabM——一种基于MLP和我们对BatchEnsemble（现有技术的一种变体）的简单模型。然后，我们在公共基准上对表格深度学习架构进行了大规模评估，不仅考虑任务性能，还考虑效率，这为表格深度学习领域带来了新的视角。总体而言，我们展示了MLP，包括TabM，相比基于注意力和检索的架构，形成了一条更强且更实用的模型线。特别是，我们发现TabM在表格深度学习模型中表现出最佳性能。最后，我们对TabM的集成特性进行了实证分析。例如，我们观察到TabM的多个预测单独来看较弱，但集体上非常强大。总的来说，我们的工作为表格深度学习引入了一种有影响力的技术，分析了其行为，并通过TabM——一个简单而强大的基线——推进了性能与效率之间的权衡，为研究人员和实践者提供了参考。

该论文旨在通过参数高效的集成方法显著提升用于表格数据监督学习的多层感知机(MLP)模型性能。这是一个相对新颖的问题，尽管集成学习在其他领域已经得到了广泛的应用，但在表格数据的深度学习模型中尚未得到充分探索。

论文的关键思路是开发一种基于MLP的新型模型TabM，并利用BatchEnsemble技术实现参数高效的集成。与传统的集成方法不同，这种方法将多个模型的预测整合到一个模型中，从而在不显著增加计算成本的情况下提高模型性能。这一思路为表格数据的深度学习提供了一种新的解决方案。

论文通过大规模评估展示了TabM在公共基准测试中的优越性能和效率。实验设计涵盖了多种任务和数据集，包括但不限于分类和回归任务。此外，作者还对TabM的集成特性进行了详细的实证分析，发现单个预测较弱但集体表现强大。论文提供了开源代码，方便研究人员和从业者复现和进一步研究。未来可以继续探索如何将这一方法应用于更大规模的数据集和更复杂的任务中。

近年来，关于表格数据的深度学习研究逐渐增多，相关的工作包括：1. 使用注意力机制和检索增强的方法来处理表格数据；2. 探索不同类型的神经网络架构，如Transformer，以提高表格数据的学习效果。例如，《TabNet: Attentive Interpretable Tabular Learning》和《Retrieval-Augmented Learning for Tabular Data》等论文均在这一领域做出了贡献。