DragTex: Generative Point-Based Texture Editing on 3D Mesh

最近，使用生成人工智能创建3D纹理网格引起了人们的极大关注。虽然现有的方法支持基于文本的生成纹理生成或编辑3D网格，但它们往往难以通过更直观的交互精确控制纹理图像的像素。虽然可以使用拖拽交互生成编辑2D图像，但是将这种方法直接应用于3D网格纹理仍然会导致多个视图之间缺乏局部一致性、误差累积和长时间训练等问题。为了解决这些挑战，我们提出了一种基于点的生成3D网格纹理编辑方法，称为DragTex。该方法利用扩散模型在变形剪影附近的区域混合局部不一致的纹理，实现局部一致的纹理编辑。此外，我们通过微调解码器来减少非拖拽区域的重构误差，从而减轻整体误差积累。此外，我们使用多视图图像训练LoRA，而不是单独训练每个视图，这显著缩短了训练时间。实验结果表明，我们的方法有效地实现了在3D网格上拖动纹理，并生成与拖拽交互的预期意图相符的合理纹理。

该论文旨在解决使用生成人工智能创建3D纹理网格时，现有方法在更直观的交互中无法精确控制纹理图像像素的问题。

论文提出了一种名为DragTex的生成点基3D网格纹理编辑方法，利用扩散模型在变形剪影附近的区域中混合局部不一致的纹理，从而实现局部一致的纹理编辑。

该方法通过微调解码器来减少非拖动区域的重构误差，从而减轻总体误差积累。此外，使用多视图图像训练LoRA，而不是单独训练每个视图，从而显著缩短了训练时间。实验结果表明，该方法有效地实现了在3D网格上拖动纹理，并生成符合拖动交互意图的合理纹理。

最近的相关研究包括：1.《Learning to Dress 3D People in Generative Clothing》；2.《Deep Texture Manifold for Ground Terrain Recognition》；3.《A Deep Learning Framework for Ground Material Classification Using Textures and Color》等。