RefFusion: Reference Adapted Diffusion Models for 3D Scene Inpainting

神经重建方法正在迅速成为3D场景的首选表示方法，但它们的可编辑性仍然是一个挑战。在这项工作中，我们提出了一种3D场景修复的方法——即以一致的方式替换重建场景的某些部分以达到所需内容的任务。场景修复是一项本质上不确定的任务，因为存在许多可能替换缺失内容的解决方案。因此，一个好的修复方法不仅应该能够实现高质量的合成，还应该具有高度的可控性。基于这个观察，我们专注于实现对修复内容的明确控制，并利用参考图像作为实现这个目标的有效手段。具体而言，我们引入了RefFusion，这是一种基于图像修复扩散模型的多尺度个性化方法，针对给定的参考视图进行个性化。这种个性化有效地使先验分布适应目标场景，从而导致得分蒸馏目标的方差较低，从而显著提高了细节的清晰度。我们的框架实现了物体去除的最先进结果，同时保持了高度的可控性。我们进一步展示了我们的公式在其他下游任务（如物体插入、场景外推和稀疏视图重建）上的普适性。

本论文旨在解决3D场景修补问题，即如何用所需内容替换重建场景的部分内容。这是一个新问题，因为现有的3D场景重建方法的可编辑性有限。

论文提出了一种名为RefFusion的新方法，该方法基于图像修补扩散模型的多尺度个性化，以给定的参考视图为基础，实现对修补内容的显式控制。这种个性化适应了目标场景的先验分布，从而显著提高了细节的清晰度。

论文的实验结果表明，RefFusion在物体移除方面取得了最先进的结果，同时仍然保持着高度的可控性。此外，该方法还可以应用于其他下游任务，如物体插入、场景扩展和稀疏视图重建。论文使用了多个数据集，并公开了代码。

最近的相关研究包括：Deep Scattering Network for Point Cloud Processing、3D Shape Reconstruction from Sketches via Multi-View Convolutional Networks、DeepVoxels: Learning Persistent 3D Feature Embeddings。