Difix3D+: Improving 3D Reconstructions with Single-Step Diffusion Models

神经辐射场和3D高斯点绘已经革新了3D重建和新视角合成任务。然而，从极端的新视角实现照片级逼真的渲染仍然具有挑战性，因为各种表示中仍然存在伪影。在这项工作中，我们引入了Difix3D+，这是一种全新的管道设计，旨在通过单步扩散模型增强3D重建和新视角合成。 我们的方法核心是Difix，一种单步图像扩散模型，训练用于增强和消除由于3D表示的欠约束区域而产生的新视角渲染中的伪影。Difix在我们的管道中扮演两个关键角色。首先，在重建阶段使用它来清理从重建中渲染并重新提炼回3D的伪训练视图。这大大增强了欠约束区域，提高了整体3D表示的质量。更重要的是，Difix还在推理过程中充当神经增强器，有效去除由不完美的3D监督和当前重建模型有限容量引起的残余伪影。 Difix3D+是一个通用解决方案，单一模型即可兼容NeRF和3DGS表示，并且在保持3D一致性的同时，相比基线模型平均提升了2倍的FID分数。

该论文试图解决从极端新视角实现逼真渲染时遇到的挑战，特别是在3D重建和新视角合成任务中，由于3D表示的欠约束区域导致的伪影问题。这是一个持续存在的问题，尽管Neural Radiance Fields (NeRF) 和 3D Gaussian Splatting (3DGS) 已经在该领域取得了显著进展。

论文的关键思路是引入Difix3D+，一种基于单步扩散模型的新颖管道，用于增强3D重建和新视角合成。Difix是一个单步图像扩散模型，训练用于增强和去除由3D表示欠约束区域引起的渲染新视角中的伪影。它在重建阶段通过清理伪训练视图来改进3D表示，并在推理阶段作为神经增强器去除残留伪影。这一方法不仅适用于NeRF和3DGS两种表示，还显著提高了FID评分，同时保持了3D一致性。

论文的亮点包括：1) 提出了一个通用的解决方案Difix3D+，兼容NeRF和3DGS表示；2) 实验设计展示了Difix在重建和推理两个阶段的有效性；3) 使用多个数据集进行验证，并报告了平均2倍的FID评分提升；4) 开源代码使得其他研究者可以复现结果并进一步探索；5) 强调了未来的研究方向，例如如何更好地处理更复杂的场景和更大规模的数据集。

最近在这个领域的相关研究还包括：1)《Plenoxels: Radiance Fields without Neural Networks》探讨了无需神经网络的辐射场表示；2)《Instant NGP: Generalizable NeRF with Instant Radiance Fields》提出了即时NeRF，实现了快速训练；3)《TensoRF: Tensorial Radiance Fields》引入了张量辐射场，提高了效率和效果；4)《Gaussian Splatting for Real-Time Radiance Field Rendering》专注于实时高斯点绘，以实现高效的辐射场渲染。