RGB$\leftrightarrow$X: Image decomposition and synthesis using material- and lighting-aware diffusion models

最近的研究表明，现实主义前向渲染、像素级反渲染和生成式图像合成这三个领域似乎是图形学和视觉的不同且无关的子领域。然而，最近的工作已经证明了基于扩散架构的像素级内在通道（漫反射率、粗糙度、金属度）的估计得到了改进；我们把这称为RGB$\rightarrow$X问题。我们进一步展示了，给定内在通道，X$\rightarrow$RGB的逆问题也可以在扩散框架中解决。 针对室内场景的图像领域，我们介绍了一个改进的RGB$\rightarrow$X扩散模型，它还估计了光照，以及第一个扩散X$\rightarrow$RGB模型，能够从（完整或部分的）内在通道中合成逼真的图像。我们的X$\rightarrow$RGB模型探索了传统渲染和生成模型之间的一个中间地带：我们只能指定某些应该遵循的外观属性，并让模型自由地虚构其余的合理版本。 这种灵活性使得我们可以使用混合的异构训练数据集，这些数据集在可用通道上有所不同。我们使用多个现有数据集，并用我们自己的合成和真实数据扩展它们，从而得到一个比以前的工作更能提取场景属性并生成高度逼真的室内场景图像的模型。

本论文试图解决RGB->X和X->RGB之间的问题，即如何从RGB图像中提取内在属性，以及如何从内在属性中合成逼真的RGB图像。这是一个新问题。

本论文提出了一种扩展的扩散模型，用于解决RGB->X和X->RGB问题。该模型可以估计照明和内在属性，并探索了传统渲染和生成模型之间的中间地带，从而实现了对外观属性的灵活指定和自由生成。这个思路相比当前领域的研究有新意。

本论文的亮点包括：1.提出了一种新的扩散模型，用于解决RGB->X和X->RGB问题；2.该模型可以估计照明和内在属性，实现了对外观属性的灵活指定和自由生成；3.使用了多个现有数据集和自己的合成和真实数据，结果比之前的工作提取场景属性更好，生成的室内场景图像非常逼真。

在这个领域的相关研究包括：1.《Learning to Predict Indoor Illumination from a Single Image》；2.《InverseRenderNet: Learning Single Image Inverse Rendering》；3.《Deep Reflectance Maps》。