DOF-GS: Adjustable Depth-of-Field 3D Gaussian Splatting for Refocusing,Defocus Rendering and Blur Removal

最近，基于3D高斯喷洒技术的方法推动了3D场景重建和新视角合成的发展，实现了高质量实时渲染。然而，这些方法在建模图像时固有地受到针孔相机假设的限制，因此只适用于全焦深（All-in-Focus，AiF）的清晰图像输入。这严重影响了它们在现实场景中的适用性，因为图像往往因成像设备深度限制而呈现出虚焦模糊。此外，现有的3D高斯喷洒（3DGS）方法也不支持DOF效果的渲染。 为了解决这些挑战，我们引入了DOF-GS，它允许从受虚焦模糊影响的多视图图像中渲染可调节的DOF效果，消除虚焦模糊并重新聚焦3D场景。为此，我们重新构想了传统的高斯喷洒流程，采用了有限孔径相机模型，结合明确的、可微分的DOF渲染，由Circle-of-Confusion（CoC）指导。所提出的框架通过根据需要改变基础相机模型的孔径和焦距，提供了动态调整DOF效果的能力。它还可以在优化后渲染3D场景的不同DOF效果，并从受虚焦训练图像生成AiF图像。此外，我们设计了一种联合优化策略，通过同时优化渲染的虚焦和AiF图像，进一步增强重建场景的细节。我们的实验结果表明，DOF-GS可以在受虚焦模糊影响的输入图像条件下产生高质量的清晰全焦深渲染，训练过程只会导致GPU内存消耗的适度增加。我们进一步展示了所提出方法在可调节的虚焦渲染和从受虚焦模糊影响的输入图像中重新聚焦3D场景方面的应用。

解决有限景深相机模型下的3D场景重建和视角合成问题，支持可调节景深效果和去除模糊效果，以及从有限景深图像中生成全焦平面图像。

通过有限光圈相机模型和可微分的景深渲染来重新设计传统的高斯喷洒管道，提出 DOF-GS 方法，以支持可调节景深效果和去除模糊效果的3D场景重建和视角合成。

DOF-GS 提供了动态调整景深效果的能力，还能在优化后呈现不同的景深效果和从有限景深训练图像中生成全焦平面图像。论文采用联合优化策略进一步增强了重建场景的细节。实验结果表明，DOF-GS 可以在GPU内存消耗增加的情况下，从有限景深图像中产生高质量的全焦平面图像。

相关研究包括高斯喷洒技术在3D场景重建和视角合成中的应用，以及有限景深相机模型下的深度估计和景深渲染技术。