DataDream: Few-shot Guided Dataset Generation

尽管文本到图像扩散模型已被证明在图像合成方面取得了最先进的结果，但它们尚未证明在下游应用中的有效性。先前的工作提出了在有限的真实数据访问情况下生成图像分类器训练数据的方法。然而，这些方法难以生成分布内的图像或描绘细粒度特征，从而阻碍了在合成数据集上训练的分类模型的泛化。我们提出了DataDream，这是一个框架，用于在少量目标类别的样例的指导下合成更真实地代表真实数据分布的分类数据集。DataDream在生成训练数据之前，通过少量真实图像微调图像生成模型的LoRA权重，然后使用适应后的模型生成训练数据。然后，我们使用合成数据微调CLIP的LoRA权重，以改善在各种数据集上的下游图像分类，优于先前方法的结果。我们通过大量实验证明了DataDream的有效性，在7个数据集中超越了最先进的少样本数据分类精度，而在其他3个数据集上则具有竞争力。此外，我们提供了有关各种因素的影响的见解，例如真实拍摄和生成图像的数量以及对模型性能的微调计算。代码可在https://github.com/ExplainableML/DataDream上找到。

提出DataDream框架，通过少量的真实图片来引导图像生成模型生成更真实、更细节的合成数据集，从而提高使用合成数据集进行图像分类的效果。

DataDream框架通过fine-tuning图像生成模型和CLIP模型来生成更真实、更细节的合成数据集，并通过这些数据集来提高图像分类的效果。

论文通过实验表明，DataDream框架在7个数据集上超过了现有方法的效果，在另外3个数据集上效果相当。论文提供了代码和数据集，并对影响模型效果的因素进行了探讨。

最近相关研究包括：Few-shot learning、text-to-image synthesis、图像分类等。