DiffusionLight: Light Probes for Free by Painting a Chrome Ball

我们提出了一种简单而有效的技术来估计单张输入图像中的光照。目前的技术主要依赖于HDR全景数据集来训练神经网络，将有限视野的输入回归到完整的环境贴图。然而，这些方法在真实世界的非受控环境中往往会遇到困难，因为它们的数据集的多样性和规模受到限制。为了解决这个问题，我们利用在数十亿标准图像上训练的扩散模型将一个铬球渲染到输入图像中。尽管这项任务很简单，但它仍然具有挑战性：扩散模型经常插入不正确或不一致的对象，并且不能轻松地生成HDR格式的图像。我们的研究揭示了铬球外观和初始扩散噪声图之间的惊人关系，我们利用这个关系来一致地生成高质量的铬球。我们进一步使用LoRA对LDR扩散模型（稳定扩散XL）进行微调，使其能够执行曝光分层，从而进行HDR光照估计。我们的方法在各种环境下产生了令人信服的光照估计结果，并展示了在野外场景下的卓越泛化性能。

论文旨在解决单张图像中光照估计的问题，尤其是在真实世界的复杂场景下，传统方法依赖于HDR全景图像数据集，但这些数据集的多样性和规模有限，因此需要一种更有效的方法。

论文提出了一种简单而有效的方法，利用数十亿个标准图像训练扩散模型来渲染铬球到输入图像中，从而估计光照。通过发现铬球外观与扩散噪声图之间的关系，实现了高质量铬球的生成，并使用LoRA对LDR扩散模型进行微调，实现了HDR光照估计。

论文的亮点包括：1.利用数十亿个标准图像训练扩散模型来渲染铬球，从而实现了单张图像中的光照估计；2.发现了铬球外观与扩散噪声图之间的关系，实现了高质量铬球的生成；3.使用LoRA对LDR扩散模型进行微调，实现了HDR光照估计；4.实验结果表明，该方法在不同场景下具有较好的泛化性能。

在这个领域中，最近的相关研究包括：1. DeepLight：Learning Illumination for Unconstrained Mobile Mixed Reality (SIGGRAPH 2021)；2. Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline (CVPR 2020)；3. Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild (CVPR 2021)。