来自 Facebook AI 的研究者提出了 NormFormer，该模型能够更快地达到目标预训练的困惑度，更好地实现预训练困惑度和下游任务性能。

论文地址：https://arxiv.org/pdf/2110.09456.pdf

来自 Facebook AI 的研究者表明，虽然 Pre-LN 比 Post-LN (Post-Layer Normalization）提高了稳定性，但也具有缺点：较早层的梯度往往大于较后层的梯度。这些问题可以通过该研究提出的 NormFormer 来缓解，它通过向每一层添加 3 个归一化操作来缓解梯度幅度不匹配问题（见下图，中间）：自注意力之后添加层归一，自注意力输出的 head-wise 扩展，在第一个全连接层之后添加层归一。这些操作减少了早期层的梯度，增加了后期层的梯度，使不同层的梯度大小更接近。

此外，这些额外的操作产生的计算成本可以忽略不计（+0.4% 的参数增加），但这样做可以提高模型预训练困惑度和在下游任务的表现，包括在 1.25 亿参数到 27 亿参数的因果模型和掩码语言模型的性能。例如，该研究在最强的 1.3B 参数基线之上添加 NormFormer 可以将同等困惑度提高 24%，或者在相同的计算预算下更好地收敛 0.27 倍困惑度。该模型以快 60% 的速度达到了与 GPT3-Large (1.3B)零样本相同的性能。对于掩码语言模型，NormFormer 提高了微调好的 GLUE 性能，平均提高了 1.9%。

NormFormer 对 Pre-LN transformer 做了三处修改：在注意力模块内部应用 head-wise 缩放，并添加两个额外的 LayerNorm 操作（一个放在注意力模块后面，另一个放在首个全连接层后面）。这些修改引入了少量额外的可学得参数，使得每个层都能以经济高效的方式改变特征大小，进而改变后续组件的梯度大小。

内容中包含的图片若涉及版权问题，请及时与我们联系删除