InTeX: Interactive Text-to-texture Synthesis via Unified Depth-aware Inpainting

由于最近文本到图像模型的进展，文本到纹理合成已成为三维内容创作的新前沿。现有的方法主要采用预训练的深度感知扩散和修补模型的组合，但它们存在三维不一致性和受限的可控性等缺点。为了解决这些挑战，我们引入了InteX，一种新颖的交互式文本到纹理合成框架。1）InteX包括一个用户友好的界面，有助于在合成过程中进行交互和控制，实现区域特定的重新绘制和精确的纹理编辑。2）此外，我们开发了一个统一的深度感知修补模型，将深度信息与修补提示集成在一起，有效地减轻了三维不一致性并提高了生成速度。通过广泛的实验，我们的框架已被证明在文本到纹理合成方面既实用又有效，为高质量的三维内容创作铺平了道路。

本论文旨在解决文本到纹理合成中存在的一些问题，例如三维不一致性和有限的可控性，以及验证InteX框架的实用性和有效性。

InteX框架是一种交互式文本到纹理合成的新方法，包括用户友好的界面和统一的深度感知修复模型。该框架能够准确地编辑和重新绘制特定区域的纹理，同时集成深度信息和修复线索，有效地解决了三维不一致性和提高生成速度。

本论文的亮点包括：1）InteX框架具有用户友好的界面，可以在合成过程中进行交互和控制，实现区域特定的重新绘制和精确的纹理编辑。2）该论文提出了一种统一的深度感知修复模型，将深度信息与修复线索集成在一起，有效地解决了三维不一致性和提高生成速度。

最近的相关研究包括深度感知扩散和修复模型的组合，但存在三维不一致性和可控性有限的问题。