Self-Guided Generation of Minority Samples Using Diffusion Models

我们提出了一种新颖的方法来生成生活在数据流形低密度区域的少数样本。我们的框架建立在扩散模型之上，利用了引导采样的原则，在推理期间将任意基于能量的引导纳入其中。我们采样器的关键特征在于其“自包含”性质，即仅使用预训练模型即可实现。这使我们的采样器与现有技术有所区别，现有技术需要昂贵的附加组件（如外部分类器）来进行少数样本生成。具体而言，我们首先通过评估后验均值的重构损失来估计中间潜在样本内特征的可能性。然后，生成过程通过最小化估计的可能性进行，从而鼓励在后续时间步的潜在样本中出现少数特征。为了进一步提高采样器的性能，我们提供了几种时间调度技术，以适当地管理推导步骤中引导的影响。在基准真实数据集上的实验表明，我们的方法可以大大提高创建真实低可能性少数实例的能力，而无需依赖昂贵的附加元素。代码可在\url{https://github.com/soobin-um/sg-minority}上找到。

本论文旨在解决生成低密度区域上的少数类样本的问题。该问题的解决对于解决现实世界中的不平衡数据集具有重要意义。

本文提出了一种基于扩散模型的生成方法，利用引导采样原则，通过在推断时引入任意基于能量的引导。该方法具有自包含性，可以仅使用预训练的模型实现，无需额外的组件。具体而言，该方法通过评估后验均值的重构损失来估计中间潜在样本的特征似然度。然后通过最小化估计的似然度来生成样本，从而鼓励在后续时间步骤的潜在样本中出现少数类特征。

本文的亮点在于提出了一种自包含的生成方法，无需额外的组件。此外，本文提供了多种时间调度技术，以适当地管理推导步骤中引导的影响。实验使用了公开数据集进行测试，并且开源了代码。本文的方法在生成低概率少数类实例方面具有优异的性能。

在这个领域中，最近的相关研究包括GAN、VAE和流模型等。例如，一些研究使用GAN来生成少数类样本。还有一些研究利用VAE来生成少数类样本。此外，流模型也被用于解决不平衡数据集的问题。