Infinite-Dimensional Feature Interaction

过去的神经网络设计主要关注特征表征空间的维度和容量扩展（例如宽度、深度），但忽视了特征交互空间的扩展。最近的进展表明，人们开始将重点转向逐元素乘法，以促进更高维度的特征交互空间，以实现更好的信息转换。尽管取得了进展，但乘法主要捕捉低阶交互，因此仍然局限于有限维交互空间。为了超越这个限制，经典的核方法成为一种有前途的解决方案，可以在无限维空间中使用特征。我们介绍了InfiNet，这是一种模型架构，可以在由RBF核创建的无限维空间内实现特征交互。我们的实验表明，InfiNet取得了新的最佳性能，这要归功于它利用无限维交互的能力，显著提高了模型性能。

本论文旨在解决神经网络设计中对特征交互空间尺度的忽视问题，提出了一种新的模型架构InfiNet，旨在使特征交互在无限维空间中进行。

InfiNet模型架构通过使用RBF核创建无限维空间来实现特征交互，从而克服了传统神经网络中特征交互空间受限的问题。

论文通过实验验证了InfiNet模型的性能，证明了其在特征交互方面的优势。此外，论文还提出了使用经典核方法进行特征交互的思路，为后续研究提供了新的思路。

最近在这个领域中，还有一些相关研究，如《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》、《xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems》等。