Interpreting the Weight Space of Customized Diffusion Models

我们研究了一个由大量自定义扩散模型组成的权重空间。我们通过创建一个包含超过60,000个模型的数据集来填充这个空间，其中每个模型都是一个基本模型，经过微调以插入不同的人的视觉特征。我们将这些权重的潜在流形建模为一个子空间，称之为weights2weights。我们展示了这个空间的三个直接应用——采样、编辑和反演。首先，由于空间中的每个点都对应一个身份，因此从中采样一组权重会生成一个编码新身份的模型。接下来，我们找到了在这个空间中对应于身份语义编辑的线性方向（例如，添加胡须）。这些编辑在生成的样本中保持外观不变。最后，我们展示了将单个图像反演到这个空间中，即使输入图像不在分布之内（例如，一幅画），也能重建出一个逼真的身份。我们的结果表明，经过微调的扩散模型的权重空间表现出可解释的身份潜空间的行为。

论文旨在探究通过fine-tuned扩散模型的权重空间，实现生成、编辑和反演人物身份的功能。这是一个新问题。

通过创建一个包含60,000个个性化扩散模型的数据集，将权重空间建模为一个子空间，称为weights2weights。然后，通过采样、编辑和反演，实现生成、编辑和反演人物身份的功能。

论文的亮点在于，通过fine-tuned扩散模型的权重空间，实现了生成、编辑和反演人物身份的功能，并且这个权重空间是可解释的。实验使用了包含60,000个个性化扩散模型的数据集，并且展示了三个应用：采样、编辑和反演。此外，论文还探索了语义编辑的线性方向，并展示了将单个图像反演到权重空间中的结果。

最近的相关研究包括GAN和VAE等深度生成模型，以及对GAN中的潜在空间的探索。