LightIt: Illumination Modeling and Control for Diffusion Models

我们介绍了一种名为LightIt的方法，用于图像生成的明确照明控制。最近的生成方法缺乏照明控制，而这对于图像生成的许多艺术方面非常重要，如设置整体情绪或电影外观。为了克服这些限制，我们建议将生成条件化为阴影和法线贴图。我们使用单次反弹阴影来建模照明，其中包括投射阴影。我们首先训练一个阴影估计模块来生成真实世界图像和阴影对的数据集。然后，我们使用估计的阴影和法线作为输入来训练控制网络。我们的方法在许多场景中展示了高质量的图像生成和照明控制。此外，我们使用我们生成的数据集来训练一个身份保护的重照模型，以图像和目标阴影为条件。我们的方法是第一个能够生成具有可控，一致照明的图像，并且在与专门的重照最先进方法相媲美的水平上表现。

提供一种显式光照控制的图像生成方法，以解决现有生成方法缺乏光照控制的问题。

通过使用阴影和法线贴图作为输入，使用单次反射的着色模型来建模光照，从而实现光照控制。

论文提出的方法可以生成具有可控、一致的光照的高质量图像，并且表现与专门的光照重构方法相当。同时，论文还使用生成的数据集训练了一个保持身份的光照重构模型。

最近的相关研究包括Image-to-Image Translation、GAN以及光照重构等。