GarmentDreamer: 3DGS Guided Garment Synthesis with Diverse Geometry and Texture Details

传统的三维服装制作需要大量的人力，包括草图绘制、建模、UV贴图和纹理制作，这些过程耗时费力。最近，基于扩散的生成模型的进展使得从文本提示、图像和视频中生成三维服装成为可能。然而，现有的方法要么存在多视角图像不一致的问题，要么需要额外的过程来将服装与底层人体模型分离。在本文中，我们提出了一种新颖的方法GarmentDreamer，它利用三维高斯散点（GS）作为指导，从文本提示生成可穿戴的、适合模拟的三维服装网格。与直接使用生成模型预测的多视角图像作为指导相比，我们的3DGS指导确保了服装变形和纹理合成的一致优化。我们的方法引入了一种新颖的服装增强模块，由法线和RGBA信息指导，并采用隐式神经纹理场（NeTF）和评分蒸馏采样（SDS）相结合，生成多样化的几何和纹理细节。我们通过全面的定性和定量实验验证了我们方法的有效性，展示了GarmentDreamer在性能上优于现有的最先进替代方法。我们的项目页面位于：https://xuan-li.github.io/GarmentDreamerDemo/。

本论文旨在通过提出GarmentDreamer方法，解决传统三维服装创建的时间和成本问题，实现从文本提示生成可穿戴、模拟准备的三维服装网格。

GarmentDreamer方法利用三维高斯点插值作为指导，实现从文本提示生成可穿戴、模拟准备的三维服装网格。相比于现有方法，GarmentDreamer方法可以保证服装变形和纹理合成的一致性，采用了新颖的服装增强模块和隐式神经纹理场结合得分蒸馏采样来生成多样化的几何和纹理细节。

论文通过全面的定性和定量实验验证了GarmentDreamer方法的有效性，展示了其在性能上优于现有的替代方法。此外，论文还提供了项目页面并开放了代码。

在最近的相关研究中，也有一些使用生成模型实现三维服装创建的方法，如Neural Garment Design和Neural Virtual Try-On等。