Collaborative Control for Geometry-Conditioned PBR Image Generation

当前的3D内容生成建立在生成RGB图像的生成模型上。然而，现代图形管线需要基于物理的渲染（PBR）材料属性。我们建议直接建模PBR图像分布，以避免RGB生成中的光度不准确和从RGB中提取PBR的固有歧义。由于缺乏数据和输出模态的高维度，现有的跨模态微调范例不适用于PBR生成：我们通过保留冻结的RGB模型并使用一种新颖的跨网络通信范例紧密链接新训练的PBR模型来克服这两个挑战。由于基本RGB模型完全被冻结，所以所提出的方法在微调过程中不会出现灾难性遗忘，并且与针对基本RGB模型预训练的IPAdapter等技术兼容。我们通过广泛的实验部分验证了我们的设计选择、对数据稀疏性的鲁棒性，并与现有的范例进行了比较。

论文旨在直接建模PBR图像分布，避免RGB生成中的光度不准确和从RGB中提取PBR时的固有歧义。该方法不同于现有的跨模态微调范例，因为它需要处理高维度的输出模态和缺乏数据的问题。

论文的关键思路是通过保留冻结的RGB模型，并使用一种新的跨网络通信范例来紧密链接新训练的PBR模型，直接建模PBR图像分布，从而避免了RGB生成中的光度不准确和从RGB中提取PBR时的固有歧义。

论文通过实验验证了其设计选择的正确性和对数据稀疏性的鲁棒性，并与现有范例进行了比较。论文的亮点包括使用一种新的跨网络通信范例来紧密链接新训练的PBR模型，以及保留冻结的RGB模型来避免微调过程中的灾难性遗忘。论文使用的数据集和开源代码也是值得关注的。

最近在这个领域中，还有一些相关的研究，例如“Learning to Generate 3D Meshes with Neural Networks”，“Neural 3D Mesh Renderer”，“NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”。