Advancing Fine-Grained Classification by Structure and Subject Preserving Augmentation

细粒度视觉分类（FGVC）涉及对密切相关的子类进行分类。由于类之间的细微差异和高内部类差异，这项任务很困难。此外，FGVC数据集通常很小且难以收集，因此需要有效的数据增强。最近文本到图像扩散模型的进展为增强分类数据集提供了新的可能性。虽然这些模型已被用于生成分类任务的训练数据，但它们在FGVC模型的完整数据集训练中的有效性仍未得到充分探索。最近依赖于Text2Image生成或Img2Img方法的技术通常难以生成准确表示类的图像，同时又能够修改它们以显著增加数据集的多样性。为了解决这些挑战，我们提出了SaSPA：结构和主题保持增强。与最近的方法相反，我们的方法不使用真实图像作为指导，从而增加了生成的灵活性并促进了更大的多样性。为了确保准确的类表示，我们采用了条件机制，特别是通过对图像边缘和主题表示进行条件控制。我们进行了广泛的实验，并将SaSPA与传统和最新的生成数据增强方法进行了基准测试。SaSPA在多个设置下始终优于所有已建立的基线，包括完整数据集训练、上下文偏差和少样本分类。此外，我们的结果揭示了使用合成数据进行FGVC模型的有趣模式；例如，我们发现使用的真实数据量与合成数据的最佳比例之间存在关系。代码可在 https://github.com/EyalMichaeli/SaSPA-Aug 上找到。

论文旨在解决细粒度视觉分类（FGVC）中数据集小、类别间差异微小、类内差异大的问题，提出一种新的数据增强方法。

SaSPA是一种不依赖真实图像的数据增强方法，通过保留图像结构和主题来生成具有多样性的合成图像，并采用条件机制来确保类别准确性。

论文使用了文本到图像扩散模型，提出了一种新的数据增强方法，SaSPA，可以提高细粒度视觉分类模型的性能。实验结果表明，SaSPA在多个设置下都优于传统和最新的生成数据增强方法。研究发现，使用合成数据的最佳比例与真实数据的使用量有关。

在细粒度视觉分类领域，最近的相关研究包括：《Fine-grained recognition without part annotations》、《Fine-grained visual categorization using meta-learning optimization with sample selection of auxiliary data》、《A survey on deep learning for fine-grained image classification》等。