Garment3DGen: 3D Garment Stylization and Texture Generation

我们介绍了一种新方法Garment3DGen，可以从基础网格中生成3D服装模型，并给出单个输入图像作为指导。我们提出的方法允许用户基于真实和合成图像（例如通过文本提示生成的图像）生成3D纹理服装。生成的模型可以直接穿在人体上并进行模拟。首先，我们利用最近的图像到3D扩散方法生成3D服装几何形状。然而，由于这些几何形状不能直接用于下游任务，因此我们建议将它们用作伪基准，并设置网格变形优化过程，将基础模板网格变形以匹配生成的3D目标。其次，我们引入了精心设计的损失函数，允许输入基础网格自由变形到所需目标，同时保持网格质量和拓扑性，以便进行模拟。最后，纹理估计模块生成高保真度的纹理贴图，全局和局部一致，并忠实地捕捉输入指导，从而允许我们渲染生成的3D模型。使用Garment3DGen，用户可以生成所需的纹理3D服装，无需艺术家干预。可以提供描述所需服装的文本提示，以生成模拟就绪的3D模型。我们展示了各种真实和生成的资产的大量定量和定性比较，并提供了如何生成模拟就绪的3D服装的用例。

本论文的问题是如何通过单个输入图像来生成3D服装模型，并且可以直接在人体上进行模拟。这是一个新的问题。

论文的关键思路是使用图像到3D扩散方法生成3D服装几何形状，并将其作为伪地面真值，通过网格变形优化过程将基准网格变形以匹配生成的3D目标。其次，引入了精心设计的损失函数，使得输入基准网格可以自由变形，同时保留网格质量和拓扑结构，以便进行模拟。

论文提供了一种新方法，可以根据真实或合成图像生成3D纹理服装，而无需艺术家的干预。实验结果表明，该方法在各种真实和生成的服装上均取得了良好的效果。论文还提供了使用案例，展示了如何生成模拟准备的3D服装。论文使用了多个数据集进行实验，并提供了开源代码。

在这个领域中，最近的相关研究包括：'Neural Garment Simulation'，'TailorNet: Predicting Clothing in 3D as a Function of Human Pose, Shape and Garment Style'，'DeepWrinkles: Accurate and Realistic Clothing Modeling'等。