What's in a Loss Function for Image Classification?

论文链接：https://arxiv.org/abs/2010.16402

本文系统研究了针对图像分类任务的各种损失函数和输出层正则化策略，实验证明，不同的目标会导致网络的倒数第二层的表示形式有很大的不同！作者单位：谷歌大脑

通常使用softmax交叉熵损失在分类数据集上训练神经网络，在分类数据集上为每个样本分配了单个类别标签。但是，已经表明，使用标签平滑或诸如dropout之类的正则化函数修改softmax交叉熵可以带来更高的性能。本文研究了针对图像分类任务的各种损失函数和输出层正则化策略。对于以不同目标训练的网络，我们在模型预测，准确性，校准和分布外鲁棒性方面观察到有意义的差异。但是，以不同目标训练的网络的隐藏表示形式的差异仅限于最后几层。表示相似性表明，在不接近输出的网络层之间没有差异。我们显示，改善原始softmax损失的所有目标都会在网络的倒数第二层中产生更大的类分离，这有可能解释了原始任务的性能提高，但导致特征糟糕迁移到其他任务。

内容中包含的图片若涉及版权问题，请及时与我们联系删除