SketchDream: Sketch-based Text-to-3D Generation and Editing

现有的基于文本的三维生成方法能够生成吸引人的结果，但缺乏详细的几何控制。素描因其简洁和表现力而对直观的三维建模做出了贡献，但仅限于在预定义的类别内生成无纹理的网格模型。同时整合素描和文本以实现三维生成可以提供更好的几何和外观控制，但面临着二维到三维转换的歧义和多模态条件集成的挑战。此外，在任意视角下进一步编辑三维模型将为用户提供更多自定义的自由度。然而，实现高质量的生成、保留未编辑区域以及管理形状组件之间的适当交互是困难的。为了解决上述问题，我们提出了一种文本驱动的三维内容生成和编辑方法SketchDream，支持从手绘素描中生成NeRF并实现基于自由视角的素描局部编辑。为了解决二维到三维的歧义挑战，我们引入了一个基于素描的多视角图像生成扩散模型，利用深度指导建立空间对应关系。利用带有三维注意力模块的三维控制网络来控制多视角图像并确保它们的三维一致性。为了支持局部编辑，我们进一步提出了一种由粗到细的编辑方法：粗略阶段分析组件之间的交互并提供三维掩码来标记编辑区域，而精细阶段通过局部增强生成具有精细细节的逼真结果。广泛的实验验证了我们的方法相对于2D控制网络和图像到三维生成技术的组合具有更高的生成质量，并且相对于现有的基于扩散的三维编辑方法具有更详细的控制。

本论文旨在解决现有的基于文本和草图的3D生成方法在几何控制和外观方面存在的问题，并提出一种支持草图生成和编辑的方法。

论文提出了一种基于草图和文本的3D内容生成和编辑方法SketchDream，其中使用基于扩散的多视图图像生成模型和3D控制网络实现草图到3D的转换和3D一致性控制，并提出了一种粗到细的编辑方法，支持局部编辑。

论文的亮点包括使用多视图图像生成模型解决了2D到3D的模糊性问题，引入3D控制网络实现了3D一致性控制，提出了一种粗到细的编辑方法支持局部编辑，并在多个数据集上进行了实验验证，证明了该方法的高质量和细节控制能力。

在相关研究方面，论文提到了基于草图的3D生成方法、基于文本的3D生成方法、基于图像的3D生成方法和基于扩散的3D编辑方法，并列举了一些相关论文，如Sketch2CAD、Pixel2Mesh、DeepSDF、Glow和DiffTaichi。