Transparent Image Layer Diffusion using Latent Transparency

本文提出了一种名为“LayerDiffusion”的方法，使得大规模预训练的潜在扩散模型能够生成透明图像。该方法能够生成单个透明图像或多个透明图层。该方法学习了一种“潜在透明度”，将Alpha通道透明度编码到预训练的潜在扩散模型的潜在流形中。通过将添加的透明度作为潜在偏移量进行调节，可以保留大型扩散模型的生产就绪质量，同时对预训练模型的原始潜在分布进行最小的更改。因此，通过使用调整后的潜在空间对任何潜在扩散模型进行微调，都可以将其转换为透明图像生成器。我们使用人为干预的收集方案收集了100万个透明图像层对来训练模型。我们展示了潜在透明度可以应用于不同的开源图像生成器，或者适应于各种条件控制系统，以实现前景/背景条件图层生成、联合图层生成、图层内容的结构控制等应用。用户研究发现，在大多数情况下（97％），用户更喜欢我们本地生成的透明内容，而不是以前的临时解决方案，例如生成然后抠图。用户还报告说，我们生成的透明图像的质量与Adobe Stock等真实商业透明资产的质量相当。

如何让大规模预训练的扩散模型生成透明图像？

通过学习“潜在透明度”，将 alpha 通道透明度编码到预训练扩散模型的潜在流形中，从而将任何扩散模型转换为透明图像生成器。

使用人机协作的方式收集了 1M 个透明图像层对，通过微调调整的潜在空间，将模型转换为透明图像生成器，并在前景/背景条件下生成图像、结构控制等方面展示了应用潜力。用户调查表明，大多数用户（97%）更喜欢本论文生成的透明内容。

最近的相关研究包括：《扩散生成模型：一种简单的自回归模型用于生成高质量的图像》、《图像蒸馏：一种生成对抗网络的无监督优化方法》等。