IntrinsicAnything: Learning Diffusion Priors for Inverse Rendering Under Unknown Illumination

本文旨在从拍摄于未知静态光照条件下的姿势图像中恢复物体材质。最近的方法通过可微分的基于物理的渲染优化材质参数来解决这个任务。然而，由于物体几何、材质和环境光照之间的耦合，反渲染过程中存在固有的模糊性，这阻碍了之前的方法获得准确的结果。为了克服这个不适定问题，我们的关键思想是使用生成模型学习材料先验，以规范化优化过程。我们观察到一般的渲染方程可以分为漫反射和镜面反射两个部分，因此将材料先验制定为反照率和镜面反射的扩散模型。由于这种设计，我们的模型可以使用现有丰富的三维物体数据进行训练，并自然地作为一种多功能工具，用于从RGB图像中恢复材质表示时解决模糊性。此外，我们开发了一种由粗到细的训练策略，利用估计的材料来指导扩散模型满足多视角一致性约束，从而产生更稳定和准确的结果。在真实世界和合成数据集上的广泛实验表明，我们的方法在材料恢复方面实现了最先进的性能。代码将在 https://zju3dv.github.io/IntrinsicAnything 上提供。

本文旨在从未知的静态光照条件下捕获的姿态图像中恢复物体材料。先前的方法通过可微分的基于物理的渲染来优化材料参数。然而，由于物体几何、材料和环境照明之间的耦合，反渲染过程中存在固有的歧义，导致先前的方法无法获得准确的结果。

本文的关键思路是使用生成模型学习材料先验，以规范优化过程。通过将通用渲染方程分解为漫反射和镜面反射阴影项，将材料先验制定为反照率和镜面反射的扩散模型。这种设计使得模型可以使用现有丰富的3D物体数据进行训练，并自然地作为一种通用工具来解决从RGB图像恢复材料表示时的歧义。

本文的亮点包括开发了一种从粗到细的训练策略，利用估计的材料来引导扩散模型满足多视角一致性约束，从而获得更稳定和准确的结果。在真实世界和合成数据集上进行了大量实验，证明了我们的方法在材料恢复方面实现了最先进的性能。代码将在https://zju3dv.github.io/IntrinsicAnything上提供。

最近在这个领域中，还有一些相关的研究，如《Deep Material: A Representation for Efficient Material Recognition and Editing》、《Deep Intrinsic Image Decomposition with Uncoupled Reflectance and Shading Retrieval》等。