Transformers without Normalization

归一化层在现代神经网络中无处不在，并长期被视为不可或缺的组件。本研究证明，通过一种极其简单的方法，无需归一化的 Transformer 可以达到相同甚至更优的性能。我们引入了动态 Tanh（DyT），一种元素级操作，定义为 $DyT(x) = \tanh(\alpha x)$，可以作为 Transformer 中归一化层的直接替代方案。DyT 的设计灵感来源于对 Transformer 中层归一化行为的观察：它通常会产生类似于 tanh 的 S 形输入-输出映射。通过引入 DyT，无需归一化的 Transformer 能够匹配或超越其带有归一化层的版本，且大多无需调整超参数。我们在多种场景下验证了带有 DyT 的 Transformer 的有效性，包括从识别到生成任务、从监督学习到自监督学习，以及从计算机视觉到语言模型的应用。这些结果挑战了归一化层在现代神经网络中不可或缺的传统认知，并为归一化层在深度网络中的作用提供了新的见解。

论文试图解决的问题是验证是否可以在Transformer架构中完全移除归一化层（如Layer Normalization），同时保持或提升模型性能。这是一个具有挑战性的问题，因为归一化层长期以来被认为是现代神经网络中的关键组件。

论文的关键思路是引入Dynamic Tanh (DyT)，一个简单的逐元素操作，作为归一化层的替代方案。DyT通过调整输入信号的缩放因子α，模拟了归一化层产生的tanh-like S型映射。相比传统方法，这种方法无需额外的参数或复杂的计算，且通常不需要重新调整超参数，从而简化了模型设计。

论文在多个任务和领域中验证了DyT的有效性，包括视觉、语言以及自监督学习等。实验使用了标准数据集（如ImageNet、COCO、WMT等）来证明其泛化能力。此外，作者提供了开源代码，便于后续研究者复现结果并进一步探索。未来值得深入研究的方向包括将DyT应用于其他类型的深度学习模型，以及分析其对训练动态的具体影响。

近期相关的研究包括：1)《Understanding the Role of Normalization in Neural Networks》探讨了归一化层的作用；2)《ReZero: Zero Initialization of Residual Weights Improves Optimization》提出了一种通过初始化改进优化的方法；3)《Post-Layernorm and Pre-Layernorm Transformer Architectures》比较了不同位置的归一化策略对Transformer的影响。这些研究共同推动了对归一化及其替代方案的理解。