Assessing Sample Quality via the Latent Space of Generative Models

生成模型的进展增加了对样本质量评估的需求。为了做到这一点，以前的方法依赖于预先训练的特征提取器，将生成的样本和真实样本嵌入到一个共同的空间中进行比较。然而，不同的特征提取器可能会导致不一致的评估结果。此外，这些方法不适用于尚不存在强大的通用特征提取器的领域，例如医学图像或3D资产。在本文中，我们建议直接检查训练生成模型的潜在空间，以推断生成样本的质量。这是可行的，因为生成样本的质量直接关系到类似它的训练数据的数量，我们可以通过检查潜在空间的密度来推断这些信息。因此，我们使用潜在密度评分函数来量化样本质量。我们展示了所提出的评分与各种生成模型（包括VAEs、GANs和潜在扩散模型）的样本质量高度相关。与以前的质量评估方法相比，我们的方法具有以下优点：1）减少计算成本的预先生成质量估计，2）适用于各种领域和模态，3）适用于基于潜在空间的图像编辑和生成方法。广泛的实验表明，我们提出的方法可以受益于下游任务，如少样本图像分类和潜在人脸图像编辑。代码可在https://github.com/cvlab-stonybrook/LS-sample-quality获得。

本文试图通过直接检查生成模型的潜在空间来推断生成样本的质量，以解决现有方法中存在的问题。这些方法依赖于预先训练的特征提取器将生成的样本和真实样本嵌入到一个共同的空间中进行比较，但不同的特征提取器可能会导致不一致的评估结果。此外，这些方法不适用于尚不存在强大的通用特征提取器的领域，如医学图像或3D资源。

本文提出使用潜在空间的密度评分函数来量化样本质量，通过检查潜在空间的密度来推断生成样本的质量。这种方法具有预先生成质量估计、适用于各种领域和模态以及适用于基于潜在空间的图像编辑和生成方法等优点。

本文的方法在各种生成模型中都能很好地表现，包括VAEs、GANs和潜在扩散模型。实验结果表明，所提出的方法可以帮助下游任务，如少样本图像分类和潜在面部图像编辑。此外，该论文提供了代码，可供其他研究人员使用。

最近的相关研究包括使用特征提取器的方法来评估生成样本的质量，如Inception Score和Fréchet Inception Distance。另外，还有一些研究使用基于潜在空间的方法进行图像编辑和生成，如StyleGAN和GANSpace等。