DiffusionLight: Light Probes for Free by Painting a Chrome Ball

我们提出了一种简单而有效的技术，用于估计单个输入图像中的光照。目前的技术主要依赖于HDR全景数据集来训练神经网络，将有限视野的输入回归到完整的环境贴图。然而，这些方法往往在真实、不受控制的环境中遇到困难，因为它们的数据集的多样性和规模受限。为了解决这个问题，我们利用在数十亿标准图像上训练的扩散模型将铬球渲染到输入图像中。尽管这项任务非常简单，但仍然具有挑战性：扩散模型经常插入不正确或不一致的对象，不能轻松生成HDR格式的图像。我们的研究揭示了铬球外观与初始扩散噪声图之间的惊人关系，利用这一关系我们可以一致地生成高质量的铬球。我们进一步使用LoRA对LDR扩散模型（Stable Diffusion XL）进行微调，使其能够执行HDR光照估计的曝光分组。我们的方法在各种环境下产生令人信服的光照估计，并展现了在实际场景中的卓越泛化能力。

论文旨在通过一种简单而有效的技术，在单个输入图像中估计照明。该技术试图解决的问题是，现有的技术往往依赖于HDR全景数据集来训练神经网络，将有限视野的输入回归到完整的环境地图中。然而，这些方法往往在真实世界中的无控制设置中遇到困难，因为它们的数据集的多样性和规模有限。

论文的解决方案关键思路是利用扩散模型在输入图像中渲染铬球，并发现了铬球外观和初始扩散噪声图之间的关系，从而生成高质量的铬球。同时，使用LoRA对LDR扩散模型（Stable Diffusion XL）进行微调，使其能够执行HDR光估计的曝光分层。这种方法在各种不同的设置中产生了令人信服的光估计结果，并展示了优越的泛化性能。

论文的亮点包括：使用扩散模型在输入图像中渲染铬球的方法，以及发现铬球外观和初始扩散噪声图之间的关系，从而生成高质量的铬球；使用LoRA对LDR扩散模型进行微调，使其能够执行HDR光估计的曝光分层；实验结果表明，该方法在各种不同的设置中产生了令人信服的光估计结果，并展示了优越的泛化性能。

在这个领域中，最近的相关研究包括：Deep Lighting Estimation for Outdoor Scenes Using Synthetic and Real Data，Single Image HDR Reconstruction by Learning to Reverse the Camera Pipeline，Deep High Dynamic Range Imaging of Dynamic Scenes。