Relational Composition in Neural Networks: A Survey and Call to Action

许多神经网络似乎将数据表示为“特征向量”的线性组合。发现这些向量的算法近年来取得了令人瞩目的成功。然而，我们认为，如果没有对关系组合的理解，这种成功是不完整的：神经网络如何（或是否）组合特征向量以表示更复杂的关系。为了促进这个领域的研究，本文提供了各种关系机制的指导，以及初步分析这些机制可能如何影响可解释特征的搜索。最后，我们提出了一系列有前途的实证研究领域，这些研究可能有助于确定神经网络如何表示结构化数据。

本文试图研究神经网络如何组合特征向量来表示更复杂的关系，以及如何影响可解释特征的搜索。

本文提供了各种关系机制的指导，以及初步分析这些机制如何影响可解释特征的搜索。

本文介绍了各种关系机制，包括神经元的组合、门控机制和记忆单元等，并提出了一些值得深入研究的问题。实验使用了不同的数据集，并提供了开源代码。

最近的相关研究包括《Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors》、《Learning to Compose Neural Networks for Question Answering》等。