Why Tabular Foundation Models Should Be a Research Priority

最近的文本和图像基础模型令人印象深刻，这些模型正在吸引越来越多的研究资源。在这篇文章中，我们旨在稍微转移机器学习研究社区的优先事项，关注另一种模态：表格数据。表格数据是许多领域的主要模态，但它几乎没有得到任何研究关注，并且在规模和能力方面显著落后。我们认为现在是开始开发表格基础模型的时候了，或者我们所称的大型表格模型（LTM）。 LTM可以彻底改变科学和机器学习使用表格数据的方式：不是将单个数据集孤立地分析，而是与相关数据集相互关联。潜在影响是深远的：从少样本表格模型到自动化数据科学；从超出分布的合成数据到赋予多学科科学发现的能力。我们打算激发对我们所研究的模态的思考，并说服一些研究人员研究大型表格模型。

本文旨在将机器学习研究重心从图像和文本领域转向表格数据领域，提出开发大型表格模型（LTM）的想法。作者认为表格数据是许多领域的主导数据类型，但在规模和能力方面远远落后于图像和文本数据，需要更多的研究关注。

本文提出了大型表格模型（LTM）的概念，旨在将表格数据作为多个相关数据集的上下文来进行建模，从而实现从小样本表格模型到自动化数据科学、从分布外合成数据到跨学科科学发现的潜在影响。

该论文的亮点包括提出了开发大型表格模型（LTM）的想法，这将有助于实现从小样本表格模型到自动化数据科学、从分布外合成数据到跨学科科学发现的潜在影响。此外，该论文还探讨了如何将表格数据作为多个相关数据集的上下文来进行建模。

在这个领域的相关研究包括《TabNet：Attentive Interpretable Tabular Learning》、《Neural Oblivious Decision Ensembles for Deep Learning on Tabular Data》、《Deep Learning for Tabular Data: A Survey》等。