斯坦福&谷歌｜临时光探针ALP

转自爱可可的前沿推介

Accidental Light Probes

H Yu, S Agarwala, C Herrmann, R Szeliski, N Snavely, J Wu, D Sun
[Stanford University & Google Research]

临时光探针

推荐理由：提出了一种新方法，用"临时光探针" (ALP) 从日常图像中恢复照明信息，并通过基于物理的方法和各种室内和室外环境中 ALP 的新数据集显示了与现有技术相比的改进性能。

要点:

1. 用"临时光探针"(ALP) 的概念，就是日常场景中常见的反光物体，从单张图像中恢复照明信息；
2. 用摄影测量原理阴影和可微渲染来模拟和估计单张图像中 ALP 的照明；
3. 创建了一个新的材质和几何数据集，包括常见的反光曲面物体和在室内和室外环境中的这些物体的图像。

摘要：
从单幅图像恢复场景中的照明，是计算机视觉的一个基本问题。虽然镜球光探头可以捕捉全向照明，但光探头通常在日常图像中不可用。本文研究从临时光探针(ALP)恢复照明——像可乐罐这样常见、闪亮的物体，经常不经意出现在日常场景中。本文提出一种基于物理的方法来模拟ALP，并从它们在单个图像中的外观来估计照明。主要想法是通过摄影测量原则的阴影来模拟ALP的外观，并通过可微渲染反演该过程，以恢复附带照明。实验证明，可以将ALP放入场景中，以进行高保真照明估算。该模型还可以恢复碰巧包含ALP的现有图像的照明。

论文地址：https://arxiv.org/abs/2301.05211

Recovering lighting in a scene from a single image is a fundamental problem in computer vision. While a mirror ball light probe can capture omnidirectional lighting, light probes are generally unavailable in everyday images. In this work, we study recovering lighting from accidental light probes (ALPs) -- common, shiny objects like Coke cans, which often accidentally appear in daily scenes. We propose a physically-based approach to model ALPs and estimate lighting from their appearances in single images. The main idea is to model the appearance of ALPs by photogrammetrically principled shading and to invert this process via differentiable rendering to recover incidental illumination. We demonstrate that we can put an ALP into a scene to allow high-fidelity lighting estimation. Our model can also recover lighting for existing images that happen to contain an ALP.