Collaborative Control for Geometry-Conditioned PBR Image Generation

目前的三维内容生成方法基于扩散模型，输出RGB图像。然而，现代图形管线需要基于物理的渲染（PBR）材质属性。我们建议直接对PBR图像分布进行建模，避免RGB生成中的光度不准确和从RGB中提取PBR时的固有歧义。由于缺乏数据和输出模态的高维度，现有的跨模态微调范例不适用于PBR生成：我们通过保留冻结的RGB模型并使用一种新的跨网络通信范例，紧密链接新训练的PBR模型来克服这两个挑战。由于基础RGB模型完全被冻结，所以所提出的方法在微调过程中不会出现灾难性的遗忘，并且与针对基础RGB模型进行预训练的IPAdapter等技术兼容。我们通过广泛的实验部分验证了我们的设计选择和对数据稀疏性的鲁棒性，并与现有的范例进行了比较。

解决问题：论文试图直接建模PBR图像分布，避免RGB生成的光度不准确和从RGB中提取PBR的固有歧义。

关键思路：本文提出了一种新的跨网络通信范式，通过保留冻结的RGB模型并紧密链接新训练的PBR模型，实现了PBR直接建模。

其他亮点：本文通过实验验证了设计选择和对数据稀疏性的鲁棒性，并与现有范例进行比较。实验使用了哪些数据集和开源代码没有提及。

相关研究：最近的相关研究包括《A Comprehensive Survey on Physically Based Rendering for Computer Graphics》、《Deep Material: A Representation for Efficient Material Recognition and Segmentation with Convolutional Neural Networks》等。