Infinite-Dimensional Feature Interaction

过去的神经网络设计主要关注特征表示空间维度及其容量的扩展（例如宽度、深度），但忽视了特征交互空间的扩展。最近的进展表明，人们开始将重点转向逐元素乘法，以促进更高维度的特征交互空间，以实现更好的信息转换。尽管取得了这些进展，但乘法主要捕捉低阶交互，因此仍然局限于有限维交互空间。为了超越这种限制，经典的核方法成为在无限维空间中使用特征的有前途的解决方案。我们介绍了InfiNet，一种模型架构，它能够在由RBF核创建的无限维空间内进行特征交互。我们的实验表明，InfiNet取得了新的最佳表现，这归功于其利用无限维交互的能力，从而显著提高了模型性能。

论文旨在解决神经网络设计中忽视特征交互空间缩放的问题，提出了一种能够在无限维空间内进行特征交互的模型架构InfiNet。

InfiNet使用RBF核创建无限维空间，实现特征交互。相比于传统的有限维特征交互，InfiNet能够显著提高模型性能。

论文的实验结果表明，InfiNet在多个数据集上均取得了新的最优表现。论文开源了代码并提供了详细的实验设置和结果分析。值得进一步研究的方向包括将InfiNet应用于其他领域以及与其他模型进行比较。

最近相关的研究包括《Deep Kernel Learning》、《Neural Ordinary Differential Equations》等。