TanhSoft -- a family of activation functions combining Tanh and Softplus

论文链接：http://xxx.itp.ac.cn/abs/2009.03863

本文介绍了10几种激活函数，并提出一系列"激活函数家族"：TanhSoft，其包含4个未确定的超参数，调整这些超参数可获得新激活函数（真炼丹调参大法），性能优于ReLU、Swish等，作者单位：IIIT Delhi, 德里大学

深度学习的核心是包含线性变换和非线性函数（称为激活函数）的函数。在过去的几年中，人们对构建新颖的激活函数以促进更好的学习越来越感兴趣。 在这项工作中，我们提出了一系列新颖的激活函数，即TanhSoft，它具有tanh (αx + βeγx) ln(δ +ex)形式的四个未确定的超参数，并调整这些超参数以获得激活函数，这些函数显示出优于几个众所周知的激活函数。例如，用xtanh（0.6e ^ x）代替ReLU可以将CIFAR-10的top-1分类精度提高DenseNet-169的0.46％和Inception-v3的0.7％，而tanh（0.87x）ln（1 + e ^ x）CIFAR-100的top-1分类精度对于DenseNet-169提高了1.24％，对于SimpleNet模型提高了2.57％。

内容中包含的图片若涉及版权问题，请及时与我们联系删除