Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning

作为人类，我们渴望创造既具有自由意志又易于控制的媒体内容。由于生成技术的显著发展，我们现在可以轻松利用二维扩散方法合成由原始草图或指定的人体姿势控制的图像，甚至可以通过遮罩修补逐步编辑/再生局部区域。然而，在3D建模任务中，类似的工作流程仍然不可用，因为在3D生成中缺乏可控性和效率。在本文中，我们提出了一个新颖的可控交互式3D资产建模框架，名为Coin3D。Coin3D允许用户使用由基本形状组装的粗略几何代理来控制3D生成，并引入交互式生成工作流程，支持无缝局部部件编辑，同时在几秒钟内提供响应快速的3D对象预览。为此，我们开发了几种技术，包括将体积粗略形状控制应用于扩散模型的3D适配器，用于精确部件编辑的代理边界编辑策略，支持响应式预览的渐进式体积缓存以及保证一致网格重建的体积-SDS。在各种形状代理上的交互生成和编辑的广泛实验表明，我们的方法在3D资产生成任务中实现了卓越的可控性和灵活性。

Coin3D试图解决3D建模中缺乏可控性和效率的问题。

Coin3D使用粗略几何代理来控制3D建模，并引入交互式生成工作流程以支持无缝局部部分编辑。

Coin3D开发了几种技术，包括3D适配器、代理边界编辑策略、渐进式体积缓存和体积-SDS，以实现对3D建模的优越可控性和灵活性。实验结果表明，Coin3D在不同形状代理上的交互式生成和编辑方面表现出色。

最近的相关研究包括：'Interactive Sketch-Based 3D Modeling using Multi-View Depth Maps'，'Learning to Infer Implicit Surfaces without 3D Supervision'，'Neural 3D Mesh Renderer'等。