A Significantly Better Class of Activation Functions Than ReLU Like Activation Functions

本文介绍了一类比ReLU和Sigmoidal等常用激活函数更好的激活函数。提出了两种新的激活函数，称为锥形和抛物线锥形激活函数，它们与流行的激活函数有很大的不同，并在CIFAR-10和Imagenette基准测试中明显优于这些激活函数。锥形激活函数仅在有限的区间上为正，在区间的端点处除外，变为零。因此，具有锥形激活函数的神经元产生正输出的输入集合是一个超带而不是半空间，这使得神经元能够比无限宽的半空间更细致地将输入特征空间划分为正类和负类。特别地，使用类似锥形的激活函数可以通过单个神经元学习XOR函数。锥形和抛物线锥形激活函数在基准测试中显示出更高的准确性，并且使用更少的神经元。本文中的结果表明，许多非线性的实际数据集可以用比半空间更少的超带来分离。锥形和抛物线锥形激活函数具有比ReLU更大的导数，并且证明了它们可以显着加速训练。

提出一种比ReLU和Sigmoid等常用激活函数更好的激活函数，以提高神经网络的准确性和训练速度。

提出了两种新的激活函数——圆锥形和抛物线圆锥形，它们在有限区间内为正，在端点处为零，在其他区间内为负。这种激活函数可以更细致地将输入特征空间分为正类和负类，从而提高神经网络的准确性，并且具有更大的导数，可以加速训练。

实验结果表明，这两种新的激活函数在CIFAR-10和Imagenette数据集上比常用的激活函数具有更高的准确性和更快的训练速度。此外，这种激活函数还可以用于学习XOR函数，并且可以使用更少的神经元来实现。

最近的相关研究包括《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》和《Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning》等。