泛化性指模型经过训练后，应用到新数据并做出准确预测的能力。一个模型在训练数据上经常被训练得太好即过拟合，以致无法泛化。

传统的统计学习理论（statistical learning theory）认为模型参数较多的时候，泛化能力应该会更差。而深度人工神经网络通常拥有比训练样本数量更多的模型参数，然而一些模型却能表现出更好的泛化能力。

因此，本文针对传统对于泛化能力的看法不能够解释不同神经网络之间泛化能力的本质区别。通过分析现有的一些关于深度学习泛化方面的研究，进行总结分类如下：

一、正则 （Regularization） 1. 显式正则 (Data augmentation，Noise 和 Dropout) 2. 隐式正则 (Early stop，Batch normalization) 二、模型优化 （Model Optimization） 三、对抗攻击（Adversarial Attack）

原文链接：https://zhuanlan.zhihu.com/p/361688783

内容中包含的图片若涉及版权问题，请及时与我们联系删除