Differentiable Point-based Inverse Rendering

我们提出了可微分的基于点的反渲染方法DPIR，这是一种通过分析合成的方法，处理在不同光照下捕获的图像以估计形状和空间变化的BRDF。为此，我们采用基于点的渲染，消除了体积渲染中每个光线需要多次采样的需要，因此显著提高了反渲染的速度。为了实现这一想法，我们设计了一种混合点体积表示几何形状和规则化基础BRDF表示反射率的方法。混合几何表示通过基于点的喷洒实现快速渲染，同时保留了SDF表示中固有的几何细节和稳定性。规则化基础BRDF缓解了反渲染中由于光视角采样有限而导致的不适定性。我们还提出了一种使用基于点的阴影图渲染的高效阴影检测方法。我们广泛的评估表明，DPIR在重建精度、计算效率和内存占用方面优于之前的工作。此外，我们明确的基于点的表示和渲染使几何形状和反射率的编辑变得直观。该代码将公开发布。

本篇论文试图通过分析合成方法，处理在不同光照下捕获的图像，以估计形状和空间变化的BRDF。该方法旨在解决逆渲染中的不适定性问题，即受限于光视角采样数量的问题。

论文提出了可微分的基于点的逆渲染方法，采用点渲染和正则化基BRDF表示法，以提高逆渲染的速度和精度。

该论文的亮点包括：采用点渲染和正则化基BRDF表示法，提高了逆渲染的速度和精度；提出了一种基于点的阴影检测方法；使用广泛的评估方法证明了DPIR的优越性，并且其点渲染和表示法使得几何和反射率的编辑更加直观。此外，该代码将公开发布。

最近的相关研究包括：《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《Learning to Reconstruct Shapes from Unseen Classes》等。