InterpreTabNet: Distilling Predictive Signals from Tabular Data by Salient Feature Interpretation

表格数据在各个行业中无处不在。针对表格数据的神经网络，如TabNet，已被提出，以利用关注机制进行预测和解释。然而，推断得出的注意力掩码通常是密集的，这使得很难找出关于预测信号的合理性。为了解决这个问题，我们提出了InterpreTabNet，这是TabNet模型的一种变体，将注意力机制建模为从Gumbel-Softmax分布中采样的潜在变量。这使我们能够通过KL散度正则化器学习注意力掩码中的不同概念，从而防止重叠的特征选择，促进稀疏性，最大化模型的效能，并提高解释性，以确定预测结果时重要的特征。为了帮助解释模型中特征之间的相互依赖关系，我们使用了一个大型语言模型（GPT-4），并使用提示工程将从学习的特征掩码映射到描述学习信号的自然语言文本。通过在真实世界数据集上进行全面的实验，我们证明InterpreTabNet在解释表格数据方面优于先前的方法，并具有竞争性的准确性。

如何提高Tabular数据的预测准确性和可解释性？

通过将注意力机制建模为从Gumbel-Softmax分布中采样的潜在变量，利用KL散度正则化器学习注意力掩码中的不同概念，从而促进稀疏性和最大化模型的有效性和解释性。同时，使用大型语言模型（GPT-4）帮助解释特征之间的相互依赖性。

论文提出了一种新的模型InterpreTabNet，用于解释Tabular数据的预测结果。实验结果表明，InterpreTabNet在提高解释性的同时，具有竞争力的预测准确性。论文使用了多个真实世界的数据集，并提供了开源代码。

在Tabular数据的预测和解释方面，已经有一些相关的工作，例如TabNet等。