Make-it-Real: Unleashing Large Multimodal Model's Ability for Painting 3D Objects with Realistic Materials

物理上逼真的材料对于增强不同应用和光照条件下的3D资产的真实感至关重要。然而，现有的3D资产和生成模型往往缺乏真实的材料属性。使用图形软件手动分配材料是一项繁琐而耗时的任务。在本文中，我们利用多模态大语言模型（MLLMs）的进展，特别是GPT-4V，提出了一种新方法Make-it-Real：1）我们证明GPT-4V可以有效地识别和描述材料，从而构建一个详细的材料库。2）利用视觉线索和分层文本提示的组合，GPT-4V可以精确地识别和对齐材料与3D对象的相应组件。3）然后，正确匹配的材料被细致地应用作为新的SVBRDF材料生成的参考，根据原始漫反射贴图显著增强它们的视觉真实感。Make-it-Real提供了一个流畅的集成到3D内容创建工作流程中，展示了它作为3D资产开发者必不可少的工具的实用性。

本文旨在解决3D模型中物理真实材料的自动生成问题，以提高模型的真实感。同时，还试图简化手动分配材料的过程。

本文提出了一种基于GPT-4V的新方法，Make-it-Real。该方法利用GPT-4V识别和描述材料，并将其与3D对象的相应组件对齐。然后，将正确匹配的材料作为参考，根据原始漫反射贴图生成新的SVBRDF材料，从而显著提高了其视觉真实性。

本文的亮点在于使用GPT-4V自动生成物理真实材料，从而简化了手动分配材料的过程。实验使用了各种数据集，并展示了该方法的有效性。该方法还可以轻松集成到3D内容创作流程中。

最近，也有一些相关研究，如《Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer》和《Neural Material Synthesis for Arbitrary Volumes via Multiresolution Voxelization》。