BiSHop: Bi-Directional Cellular Learning for Tabular Data with Generalized Sparse Modern Hopfield Model

我们介绍了一种新的端到端框架——\textbf{双向稀疏Hopfield网络}（\textbf{BiSHop}），用于深度表格学习。BiSHop解决了深度表格学习的两个主要挑战：非旋转不变的数据结构和表格数据中的特征稀疏性。我们的主要动机来自于关联记忆和注意机制之间最近建立的联系。因此，BiSHop采用双组件方法，通过两个相互连接的方向学习模块按列和行顺序处理数据。在计算上，这些模块包含广义稀疏现代Hopfield层的层，这是现代Hopfield模型的稀疏扩展，具有可适应的稀疏性。在方法上，BiSHop促进了多尺度表示学习，捕捉每个尺度上的自内部特征和特征间的相互作用，具有自适应稀疏性。在实证上，通过对各种真实世界数据集的实验，我们证明BiSHop在显著减少超参数优化次数的情况下超越了当前的SOTA方法，标志着它是深度表格学习的一个强大解决方案。

论文旨在解决深度表格学习中的两个主要挑战：非旋转不变的数据结构和表格数据中的特征稀疏性。它试图通过提出一种新的端到端框架来解决这些问题。

BiSHop使用双向学习模块，分别沿列和行顺序处理数据，通过稀疏的Hopfield层来进行多尺度表示学习，捕捉特征内部和特征间的交互，并实现自适应稀疏性。

论文的亮点包括：通过将关联记忆和注意力机制联系起来，提出了一种新的解决方案；在多个真实世界数据集上进行了实验，并展示了BiSHop相比当前最优方法具有更好的性能；使用自适应稀疏性实现了多尺度表示学习；论文提供了开源代码。

最近的相关研究包括：《TabNet: Attentive Interpretable Tabular Learning》、《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》、《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》等。