Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks

神经网络已经被证明是解决生活中许多复杂问题的高效工具。最近，随着深度学习的出现，它们的重要性和实用性进一步得到了加强。神经网络成功的一个重要条件是选择适当的激活函数，引入非线性模型。过去文献中提出了许多这些函数的类型，但没有单一的综合来源包含它们的详尽概述。我们的论文填补了这一空白，提供了涉及400个激活函数的广泛调查，比以前的调查规模大几倍。我们的全面编译还参考了这些调查；然而，它的主要目标是提供最全面的激活函数概述和系统化，以及与它们的原始来源的链接。次要目标是更新当前对这个函数族的理解。

论文旨在提供一个包含400种激活函数的详尽概述和系统化，并更新当前对这一函数族的理解。此前缺乏这样的综述，导致研究中的冗余和重复发现已有的激活函数。

本论文提供了一个包含400种激活函数的综合调查，是之前调查规模的数倍。主要目标是提供先前发表的激活函数的最全面的概述和系统化，包括对其原始来源的链接。

论文的亮点在于提供了一个包含400种激活函数的综合调查，比之前的调查规模大数倍。此外，论文还提供了对其他相关综述的参考，并更新了当前对激活函数的理解。论文的实验设计、数据集和代码也值得关注。

最近的相关研究包括《A systematic survey on the design and optimization of deep learning techniques》、《Activation Functions for Deep Learning: A Systematic Survey》等。