ePBR: Extended PBR Materials in Image Synthesis

逼真的室内或室外图像合成是计算机视觉和图形学中的核心挑战。基于学习的方法虽然易于使用，但缺乏物理一致性，而传统的基于物理的渲染（PBR）虽然能够提供高度真实的画面，但计算成本高昂。本质图像表示提供了一个良好的折中方案，它将图像分解为基本成分（本质通道），如几何、材质和光照，从而实现可控的合成。然而，现有的PBR材质在处理复杂的表面模型时表现不佳，尤其是高镜面反射和透明表面。在这项工作中，我们将本质图像表示扩展到包含反射和透射属性，从而实现如玻璃和窗户等透明材质的合成。我们提出了一种显式的本质合成框架，该框架可以提供确定性和可解释的图像合成。通过扩展的PBR材质（ePBR材质），我们可以对材质进行有效的编辑，并实现精确的控制。

论文试图解决透明材料（如玻璃和窗户）在图像合成中的物理一致性问题，特别是高镜面反射和透明表面的复杂建模问题。这是一个长期存在的挑战，因为传统PBR方法难以处理这类复杂材质，而学习-based方法又缺乏物理真实性。

论文提出了一种扩展的内在图像表示框架（Extended PBR, ePBR），将反射和透射属性纳入到材料模型中。通过分解图像为几何、材质和光照等基本组件，并显式地对这些组件进行组合，该框架提供了可控且物理一致的图像合成能力。相比现有方法，ePBR能够更精确地编辑和生成透明材质。

1. 提出了一个显式的内在图像合成框架，支持对透明材质的精确控制；2. 实验展示了在多种场景下的合成效果，包括高镜面反射和透明表面；3. 论文使用了多个真实世界数据集验证方法的有效性，并讨论了其在虚拟现实和增强现实中的应用潜力；4. 代码和部分数据集已开源，便于后续研究者复现和改进。

最近的相关研究包括：1. 「Learning to Decompose Images into Reflectance and Shading」探索了基于深度学习的图像分解技术；2. 「Neural Radiance Fields (NeRF)」在视图合成领域取得了显著进展；3. 「Physically-Based Rendering Techniques for Computer Graphics」系统介绍了传统PBR方法及其局限性；4. 「Differentiable Rendering for Inverse Graphics」提出了可微渲染以优化材质参数。这些工作共同推动了图像合成和材质建模的进步。