InterpreTabNet: Distilling Predictive Signals from Tabular Data by Salient Feature Interpretation

表格数据在各个行业中无处不在。针对表格数据的神经网络，如TabNet，已被提出，以利用注意力机制进行预测并提高可解释性。然而，推断出的注意力掩码通常很密集，这使得很难得出关于预测信号的合理解释。为了解决这个问题，我们提出了InterpreTabNet，这是TabNet模型的一个变体，将注意力机制建模为从Gumbel-Softmax分布中采样的潜在变量。这使我们能够通过KL散度正则化器学习注意力掩码中的不同概念，从而防止重叠的特征选择，促进稀疏性，最大化模型的有效性，并提高可解释性，以确定预测结果时的重要特征。为了协助我们的模型解释特征之间的相互依赖关系，我们使用了一个大型语言模型（GPT-4）并使用提示工程将学习到的特征掩码映射到描述学习信号的自然语言文本上。通过对真实世界数据集的全面实验，我们证明了InterpreTabNet在解释表格数据方面优于先前的方法，同时具有竞争性的准确性。

本论文旨在提高解释性神经网络在表格数据预测中的可解释性，通过引入Gumbel-Softmax分布的概念，实现对注意力机制的建模和正则化，从而解决了注意力掩码过于密集的问题。

论文的关键思路是将注意力机制建模为一个从Gumbel-Softmax分布中采样的潜在变量，通过KL散度正则化实现对模型的稀疏性约束，从而提高预测效果和可解释性。

论文通过实验验证了InterpreTabNet模型的预测效果和可解释性都优于之前的方法，并使用大型语言模型（GPT-4）和提示工程技术将学习到的特征掩码映射到自然语言文本中，更加直观地描述了学习到的信号。

最近在这个领域中，还有一些相关的研究，如TabNet模型、神经网络对表格数据的处理等。