Neural Gaffer: Relighting Any Object via Diffusion

单图像重照是一项具有挑战性的任务，涉及到几何、材质和光照之间复杂的相互作用。许多先前的方法仅支持特定类别的图像，例如肖像，或需要特殊的捕捉条件，例如使用手电筒。或者，一些方法明确地将场景分解为固有组件，例如法线和BRDF，这可能不准确或表达不充分。在这项工作中，我们提出了一种新颖的端到端2D重照扩散模型，称为神经Gaffer，它可以采用任何物体的单个图像，并可以在任何新的环境光照条件下合成准确、高质量的重照图像，只需将图像生成器调节到目标环境贴图上，而无需进行明确的场景分解。我们的方法建立在预训练的扩散模型之上，并在合成重照数据集上进行微调，揭示并利用扩散模型中存在的对光照的内在理解。我们在合成和野外互联网图像上评估了我们的模型，并展示了它在泛化和准确性方面的优势。此外，通过与其他生成方法结合，我们的模型使许多下游的2D任务成为可能，例如基于文本的重照和对象插入。我们的模型还可以作为3D任务的强大重照先验，例如重照辐射场。

单张图像照明重渲染是一个具有挑战性的任务，需要考虑几何、材料和照明之间复杂的相互作用。本文旨在提出一种新的端到端2D重渲染扩散模型，名为神经Gaffer，它可以在任何新环境照明条件下生成准确、高质量的重渲染图像，只需将图像生成器与目标环境映射进行调节，无需显式场景分解。

通过在合成重渲染数据集上微调预训练的扩散模型，利用扩散模型中固有的照明理解，实现单张图像的照明重渲染。

论文的方法可以与其他生成方法结合，实现文本驱动的重渲染和物体插入等下游2D任务。此外，该模型还可以作为3D任务的强烈照明先验，如重新照明辐射场。

相关研究包括基于深度学习的图像照明重渲染方法，如Neural Radiance Fields、NeRF-W、Implicit Neural Lighting等。