On permutation-invariant neural networks

传统的机器学习算法一般假设输入数据遵循基于向量的格式，强调向量为中心的范式。然而，随着需要处理基于集合输入的任务的增加，研究界已经转向解决这些挑战。近年来，神经网络架构的出现，如Deep Sets和Transformers，对于处理基于集合的数据的方法提供了重要的进展。这些架构是专门设计用于自然地容纳集合作为输入，从而更有效地表示和处理集合结构。因此，已经涌现出大量的研究努力，致力于探索和利用这些架构的能力，以近似集合函数的各种任务。本综合调查旨在提供关于近似集合函数的神经网络的各种问题设置和正在进行的研究工作的概述。通过深入探讨这些方法的复杂性并阐明相关的挑战，该调查旨在为读者提供对该领域的全面了解。通过这种全面的视角，我们希望研究人员可以获得有关基于集合的神经网络的潜在应用、固有限制和未来方向的宝贵见解。实际上，从这个调查中我们得到了两个见解：i）Deep Sets及其变种可以通过聚合函数的差异进行泛化，ii）Deep Sets的行为对聚合函数的选择敏感。从这些观察中，我们展示了Deep Sets，一个众所周知的置换不变神经网络，可以在拟合准拟算平均的意义上进行泛化。

本文旨在提供对神经网络逼近集合函数的综合概述，介绍了针对集合输入数据的深度集合和Transformer等神经网络架构的应用和优势，并探讨了相关挑战。

本文介绍了逼近集合函数的神经网络架构，特别是Deep Sets和其变种，并阐述了聚合函数的重要性和影响。

本文介绍了集合数据的神经网络处理方法，并提供了对Deep Sets和其变种的综合分析。实验使用了不同的数据集和聚合函数，并提供了开源代码。值得深入探究的是如何进一步推广Deep Sets的应用。

最近的相关研究包括《A Simple Neural Network Module for Relational Reasoning》和《Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks》。