论文标题：High-Performance Large-Scale Image Recognition Without Normalization 论文链接：https://arxiv.org/abs/2102.06171 代码链接：https://github.com/deepmind/deepmind-research/tree/master/nfnets 作者单位：DeepMind 本文提出了Normalizer-Free ResNets家族，简称NFNets，表现SOTA！其中小版本与EfficientNet-B7的精度相同，但训练速度却快了8.7倍，最高达89.2%准确率！代码于11个小时前刚刚开源！ Batch normalization是大多数图像分类模型的关键组成部分，但是由于其对批次大小的依赖以及示例之间的相互作用，因此具有许多不良的特性。尽管最近的工作已经成功地训练了没有归一化层的深度ResNet，但是这些模型不符合最佳BN网络的测试精度，并且对于较大的学习率或强大的数据增广而言通常是不稳定的。在这项工作中，我们开发了一种克服了这些不稳定性的自适应gradient clipping技术，并设计了一种显著改进的无归一化 ResNets。我们的较小型号与ImageNet上EfficientNet-B7的测试精度相匹配，而训练速度却快了8.7倍，而我们最大的型号则达到了86.5％的最新top-1精度。此外，在对3亿张带标签图像的数据集进行大规模预训练后，在ImageNet上进行微调时，使用无规范化器的模型比批处理规范化的模型具有明显更好的性能，而我们的最佳模型的准确度为89.2％。

内容中包含的图片若涉及版权问题，请及时与我们联系删除