ICCV2021 | 简单有效的长尾视觉识别新方案：蒸馏自监督(SSD)

本文提出了一种概念上简单但特别有效的长尾视觉识别的多阶段训练方案，称为蒸馏自监督(Self Supervision to Distillation, SSD)。在三个长尾识别基准：ImageNet-LT、CIFAR100-LT和iNaturist 2018上取得了SOTA结果。在不同的数据集上，SSD比强大的LWS基准性能高出2.7%到4.5%。

论文链接：https://arxiv.org/abs/2109.04075

蒸馏自监控(SSD)的总体框架如图2所示。SSD由三个步骤组成：(1)自监督引导的特征学习；(2)中间软标签生成；(3)联合训练和自蒸馏。