DiffuLT: How to Make Diffusion Model Useful for Long-tail Recognition

本文提出了一种新的长尾识别流程。与重新加权或重新采样不同，我们利用长尾数据集本身生成一个平衡的代理，可以通过交叉熵（CE）进行优化。具体而言，我们使用一个随机初始化的扩散模型，仅在长尾数据集上进行训练，用于合成代表少数类别的新样本。然后，我们利用原始数据集中的固有信息来过滤有害样本并保留有用的样本。我们的策略Diffusion model for Long-Tail recognition（DiffuLT）是长尾识别中生成模型的开创性利用。DiffuLT在CIFAR10-LT、CIFAR100-LT和ImageNet-LT上取得了最先进的结果，超过了最佳竞争对手的非微不足道的差距。丰富的消融实验也使我们的流程具有可解释性。整个生成流程都没有使用任何外部数据或预训练模型权重，使其高度适用于现实世界的长尾设置。

解决长尾识别中的数据不平衡问题，提高低频类别的识别准确率。

利用扩散模型生成新的少数类别样本，并通过过滤策略筛选出有用的样本，构建平衡的代理数据集进行训练。

使用DiffuLT方法在CIFAR10-LT、CIFAR100-LT和ImageNet-LT数据集上取得了最先进的结果，无需外部数据或预训练模型。实验结果表明，DiffuLT方法具有很好的可解释性。

与当前研究相比，该论文提出的DiffuLT方法是一种全新的基于生成模型的长尾识别方法。相关研究包括使用重采样或重加权等方法进行数据平衡的方法，以及使用元学习等方法进行模型优化的方法。