3DStyleGLIP: Part-Tailored Text-Guided 3D Neural Stylization

3D风格化是将特定风格应用于三维物体的过程，具有重要的商业潜力，因为它可以创建具有不同情感和风格的多样化三维物体，以满足不同场景的特定需求。随着文本驱动方法和人工智能的最新进展，风格化过程越来越直观和自动化，从而减少了对手动劳动和专业知识的依赖。然而，现有的方法主要集中在整体风格化上，因此未探索将风格应用于三维物体的各个组件。为此，我们介绍了3DStyleGLIP，这是一个专门设计用于文本驱动、部分定制的三维风格化框架。给定一个3D网格和一个文本提示，3DStyleGLIP利用基于视觉语言嵌入空间的Grounded Language-Image Pre-training (GLIP)模型来定位3D网格的各个部分，并修改它们的颜色和局部几何形状，以使它们与文本提示中指定的期望风格相一致。3DStyleGLIP通过在GLIP的嵌入空间中工作的部分级风格损失和两种补充学习技术有效地训练用于3D风格化任务。广泛的实验验证证实了我们的方法在实现部分级风格化能力方面取得了显著的成果，展示了在推进3D风格化领域方面的有希望的潜力。

本论文旨在解决3D对象局部样式化的问题，提出了一种基于文本驱动的3D样式化框架3DStyleGLIP。

3DStyleGLIP利用Grounded Language-Image Pre-training (GLIP)模型的视觉-语言嵌入空间来定位3D网格的各个部分，并根据文本提示修改它们的颜色和局部几何形状，实现局部定制的3D样式化。

论文提出的3DStyleGLIP框架在局部样式化方面具有显著的能力，实验证明其具有良好的潜力。实验使用了公开数据集，提出了一种基于部分级别样式损失的学习方法，同时采用了两种互补的学习技巧。

最近的相关研究包括：《Neural Style Transfer for 3D Objects: A Survey》、《3D Object Generation from Natural Language Descriptions: A Survey》等。