TeLU Activation Function for Fast and Stable Deep Learning

我们提出了双曲正切指数线性单元（TeLU），这是一种神经网络的隐藏层激活函数，定义为 TeLU(x) = x * tanh(exp(x))。TeLU 的设计基于关键激活函数的核心原则，在其活跃区域内接近恒等函数以实现强收敛，同时在其饱和区域内有效缓解梯度消失问题。其简单的公式增强了计算效率，从而提高了可扩展性和收敛速度。 与许多现代激活函数不同，TeLU 无缝结合了 ReLU 的简单性和有效性以及深度神经网络中学习稳定性所需的平滑性和分析特性。TeLU 能够模仿 ReLU 的行为和最优超参数设置，同时引入平滑性和曲率的优势，使其成为理想的替代方案。TeLU 的分析性质使其成为一个强大的通用逼近器，增强了在多种实验中的鲁棒性和泛化能力。 我们通过理论分析和实验验证严格验证了这些主张，展示了 TeLU 在多个具有挑战性的基准测试中的性能；包括在 ImageNet 上的 ResNet18、在 Text8 上的动态池化变换器以及在 Penn TreeBank 数据集上的循环神经网络（RNN）。这些结果突显了 TeLU 在激活函数方面设立新标准的潜力，推动了更高效和稳定的深度神经网络学习，从而加速了各个领域的科学发现。

该论文试图通过引入一种新的激活函数——双曲正切指数线性单元（TeLU），解决现有激活函数在深度神经网络中遇到的收敛速度慢、梯度消失等问题。这是一个旨在改进现有技术的问题，而不是一个全新的问题领域。

关键思路在于设计一个既能接近恒等函数以加速收敛，又能有效缓解梯度消失问题的激活函数。TeLU结合了ReLU的简单高效与平滑特性，使得它不仅能在活跃区域近似于恒等映射，在饱和区域也能保持梯度不为零，从而提高训练效率和稳定性。这一思路相比现有研究更具创新性，因为它试图融合不同激活函数的优点。

论文亮点包括：1) TeLU的设计简洁且计算效率高；2) 通过理论分析和实验验证，证明了TeLU在多个基准测试上的优越性能；3) 使用了ResNet18（ImageNet）、动态池化Transformer（Text8）和RNN（Penn TreeBank）等数据集进行广泛验证；4) 提出TeLU可以作为ReLU的理想替代品，适用于多种任务；5) 强调了TeLU作为一种强大的通用逼近器，增强了模型的鲁棒性和泛化能力。此外，论文还探讨了进一步的研究方向，如更深入地理解TeLU与其他组件之间的相互作用。

最近的相关研究包括但不限于以下几篇论文：1)《Rectified Linear Units Improve Restricted Boltzmann Machines》- 探讨了ReLU如何改善受限玻尔兹曼机的表现；2) 《Swish: a Self-Gated Activation Function》- 提出了自门控激活函数Swish；3) 《Mish: A Self Regularized Non-Monotonic Neural Activation Function》- 研究了非单调激活函数Mish；4) 《ELU: Exponential Linear Units》- 介绍了指数线性单元ELU。这些研究均致力于寻找更好的激活函数来提升深度学习模型的性能。