Exploring Data Efficiency in Zero-Shot Learning with Diffusion Models

零样本学习（ZSL）旨在通过在类级别上提高数据效率，使分类器能够识别未见过的类别。这是通过从未见过的类别的预定义语义生成图像特征来实现的。然而，大多数当前的方法严重依赖于来自已见类别的样本数量，即它们不考虑实例级别的效果。在本文中，我们证明了有限的已见示例通常会导致生成模型的性能下降。为了克服这些挑战，我们提出了一种基于扩散的生成ZSL模型ZeroDiff。这个统一的框架将扩散模型结合起来，以提高类和实例级别的数据效率。具体而言，对于实例级别的有效性，ZeroDiff利用前向扩散链将有限的数据转换为扩展的噪声数据集。对于类级别的有效性，我们设计了一个由基于扩散的特征生成器（DFG）和基于扩散的表示生成器（DRG）组成的双分支生成结构。DFG专注于学习和采样基于交叉熵的特征分布，而DRG学习有监督的对比度表示，以提高DFG的零样本能力。此外，我们使用三个鉴别器从不同的方面评估生成的特征，并引入了基于Wasserstein距离的相互学习损失，以在鉴别器之间传递知识，从而增强生成的指导。通过在三个流行的ZSL基准测试上进行广泛的实验，我们的ZeroDiff不仅在现有ZSL方法上取得了显着的改进，而且即使在训练数据稀缺的情况下也保持了稳健的性能。代码将在接受后发布。

本文旨在提高零样本学习（ZSL）模型的数据效率，尤其是在类别和实例级别上。作者认为当前的方法过于依赖已有类别的样本数量，忽视了实例级别的有效性。

本文提出了一种基于扩散的生成式ZSL模型ZeroDiff。该模型利用扩散模型提高类别和实例级别上的数据效率。具体来说，ZeroDiff使用正向扩散链将有限的数据转换为扩展的噪声数据，以提高实例级别的有效性；同时，设计了一个由Diffusion-based Feature Generator（DFG）和Diffusion-based Representation Generator（DRG）组成的两个分支生成结构，以提高类别级别的有效性。DFG专注于学习和采样基于交叉熵的特征分布，而DRG学习基于监督对比的表示以增强DFG的零样本能力。此外，作者还引入了三个判别器来从不同角度评估生成的特征，并采用基于Wasserstein距离的互学习损失来增强判别器的指导。

本文在三个流行的ZSL基准测试上进行了大量实验，ZeroDiff不仅在现有ZSL方法上取得了显著的改进，而且即使在训练数据有限的情况下仍保持了强大的性能。作者承诺将在接受后发布代码。

最近的相关研究包括：1. Zhang et al. Learning to Learn from Noisy Labeled Data. 2. Zhang et al. Co-teaching for Robustness to Label Noise in Image Classification. 3. Liu et al. Large-scale Long-tailed Recognition in an Open World. 等。