论文标题：Rethinking“Batch” in BatchNorm

论文链接：https://arxiv.org/abs/2105.07576

作者单位：Facebook AI Research（Yuxin Wu, Justin Johnson）

本文彻底回顾了视觉识别任务中BatchNorm中“Batch”的关键思考和问题，通过提出一些警告和缓解措施，希望这篇文章可以帮助研究人员更有效地使用BatchNorm！

BatchNorm是现代卷积神经网络的关键构建块。 它具有“batches”而不是单个样本进行操作的独特属性，与深度学习中的大多数其他操作相比，引入了明显不同的行为。结果，它导致了许多隐藏的警告，这些警告可能以微妙的方式对模型的性能产生负面影响。本文彻底回顾了视觉识别任务中的此类问题，并指出解决这些问题的关键是重新思考BatchNorm中“Batch”概念中的不同选择。 通过提出这些警告和缓解措施，我们希望这篇评论可以帮助研究人员更有效地使用BatchNorm。

内容中包含的图片若涉及版权问题，请及时与我们联系删除