这篇论文介绍了一种崭新的长尾分布下分类问题的通用算法，这项工作已经被NeurlPS 2020接收。

Motivation （研究动机）

这个工作从因果分析的角度，利用一种非常优雅的实现，提出了一种崭新的长尾问题的通用解决思路。而且实现非常简单，能够广泛适用于各种不同类型的任务。在此之前有几个问题（缺陷）一直萦绕在作者的脑中没有被解决：

  • 虽然利用数据集分布的re-sampling和re-weighting训练方法可以一定程度上缓解长尾分布的问题。然而这种利用其实是违背现实学习场景的，他们都需要在训练/学习之前，了解“未来”将要看到的数据分布，这显然不符合人类的学习模式，也因此无法适用于各种动态的数据流。
  • 目前长尾分类最优的Decoupling算法依赖于2-stage的分步训练，这显然不符合深度学习end-to-end的训练传统，而论文本身也没有提出让人信服的理由解释为什么特征提取backbone需要在长尾分布下学，而偏偏classifier又需要re-balancing的学。
  • 长尾分布下简单的图片分类问题和其他复杂问题（诸如物体检测和实例分割）研究的割裂，目前长尾分布下图片分类问题的算法日趋复杂，导致很难运用于本来框架就很繁琐的检测分割等任务。而作者觉得长尾问题的本质都是相似的，真正的解决方案一定是简洁的，可以通用的。

基于上面这些问题，也就最终诞生了这篇工作。该篇论文提出的De-confound-TDE的优势如下：

  • 该篇论文的训练过程完全不依赖于提前获取的数据分布，只需要在传统训练框架的基础上统计一个特征的移动平均向量，并且这个平均特征在训练中并不会参与梯度计算（只在测试时使用）。这也就解决了传统长尾分类方法依赖“提前获取未来数据分布”的问题。
  • 尽管该篇论文的测试过程和训练过程有所不同，但该篇论文的模型是一次训练到位的，并不需要依赖繁琐的多步训练，这大大简化了拓展至其他任务时的修改成本。
  • 并且，该篇论文成功的将这个方法运用于图片分类（ImageNet-LT，Long-tailed CIFAR-10/-100）和物体检测/实例分割（LVIS dataset）等多个任务，均取得了最优的结果（截止至该篇论文投稿也就是2020年5月）。这证明了该篇论文的方法可以作为继re-balancing之后又一个在长尾数据下通用的Strong Single-Stage Baseline。

内容中包含的图片若涉及版权问题，请及时与我们联系删除