Batch Normalization确实是深度学习领域的重大突破之一，也是近年来研究人员讨论的热点之一。Batch Normalization是一种被广泛采用的技术，使训练更加快速和稳定，已成为最有影响力的方法之一。然而，尽管它具有多种功能，但仍有一些地方阻碍了该方法的发展，正如我们将在本文中讨论的那样，这表明做归一化的方法仍有改进的余地。

优点：

  • 更快的收敛。
  • 降低初始权重的重要性。
  • 鲁棒的超参数。
  • 需要较少的数据进行泛化。

诅咒：

  • 在使用小batch size的时候不稳定
  • 导致训练时间的增加
  • 训练和推理时不一样的结果
  • 对于在线学习不好
  • 对于循环神经网络不好

在batch normalization无法很好工作的情况下，有几种替代方法。

  • Layer Normalization
  • Instance Normalization
  • Group Normalization (+ weight standardization)
  • Synchronous Batch Normalization

内容中包含的图片若涉及版权问题，请及时与我们联系删除