InFusion: Inpainting 3D Gaussians via Learning Depth Completion from Diffusion Prior

最近，3D高斯模型已成为新视角合成的有效表示方法。本文研究了其可编辑性，特别关注修复任务，旨在通过添加额外点来补充不完整的3D高斯模型，以实现视觉上和谐的渲染。与2D修复相比，修复3D高斯模型的关键在于找出引入点的渲染相关属性，其优化很大程度上受益于它们的初始3D位置。为此，我们提出了一种基于图像条件深度完成模型的点初始化指导方法，该模型学习基于观察图像直接恢复深度图。这种设计使得我们的模型能够以与原始深度对齐的比例填充深度值，并从大规模扩散先验中获得强大的泛化能力。由于更准确的深度完成，我们的方法被称为InFusion，在各种复杂场景下具有足够更好的保真度和效率。我们进一步演示了InFusion的有效性，包括使用用户特定纹理进行修复或插入新对象进行修复等几个实际应用。

本文旨在探究3D高斯模型在修补任务中的可编辑性，并提出了一种名为InFusion的方法，以更好地填补缺失的3D高斯模型。

本文提出了一种基于图像条件深度完成模型的方法来指导点初始化，以更好地优化渲染相关属性，从而更好地填补缺失的3D高斯模型。

本文的实验结果表明，与现有的替代方法相比，InFusion在各种复杂场景下具有更好的保真度和效率。此外，本文还展示了InFusion在用户特定纹理或新对象插入等几个实际应用方面的有效性。

最近的相关研究包括：《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》、《DeepVoxels: Learning Persistent 3D Feature Embeddings》等。