Generative Models: What do they know? Do they know things? Let's find out!

生成模型已被证明能够合成高度详细和逼真的图像。自然而然地怀疑它们隐含地学习了一些图像内在特征，如表面法线、深度或阴影。本文提供了有力的证据表明，生成模型确实内部生成高质量的场景内在地图。我们介绍了一种称为Intrinsic LoRA（I LoRA）的通用即插即用方法，它可以将任何生成模型转化为场景内在预测器，能够直接从原始生成器网络中提取内在场景地图，而无需额外的解码器或完全微调原始网络。我们的方法采用了关键特征映射的低秩适应（LoRA），其中新学习的参数仅占生成模型总参数的不到0.6%。通过少量标记图像进行优化，我们的模型无关方法适应各种生成体系结构，包括Diffusion模型、GAN和自回归模型。我们展示了我们方法生成的场景内在地图与领先的监督技术生成的地图相比表现良好，并在某些情况下超过它们。

本文旨在验证生成模型是否能够隐式地学习建模图像的表面法线、深度或阴影等内在特征，并提出一种新的方法来提取这些内在特征。

本文提出了一种名为Intrinsic LoRA (I LoRA)的通用方法，可以将任何生成模型转换为场景内在特征的预测器，无需额外的解码器或完全微调原始网络。该方法使用关键特征映射的低秩适应（LoRA），并具有新学习的参数，占生成模型总参数的不到0.6％。通过少量标记图像进行优化，该方法适应各种生成架构，包括扩散模型、GAN和自回归模型。

本文的亮点包括：通过实验证明生成模型确实可以隐式地学习建模图像的内在特征；提出了一种新的方法来提取这些内在特征，该方法使用的参数很少，可以适用于各种生成架构；证明了该方法提取的内在特征与领先的监督技术相比具有相似甚至更好的表现。

在这个领域中，还有一些相关的研究，例如：《Unsupervised Learning of Intrinsic Structural Representation Points》、《Unsupervised Learning of Intrinsic Image Decomposition from a Single Image》等。