Bridging Diffusion Models and 3D Representations: A 3D Consistent Super-Resolution Framework

我们提出了3D超分辨率（3DSR），这是一种基于3D高斯点绘的新型超分辨率框架，利用现成的基于扩散模型的2D超分辨率方法。3DSR通过使用显式的基于3D高斯点绘的场景表示，在不同视角下促进3D一致性。这使得我们提出的3DSR不同于以往的工作，例如图像放大或视频超分辨率方法，这些方法要么不考虑3D一致性，要么试图隐式地引入3D一致性。值得注意的是，我们的方法在无需额外微调的情况下提升了视觉质量，确保了重建场景中的空间一致性。我们在MipNeRF360和LLFF数据集上对3DSR进行了评估，结果表明该方法能够生成视觉效果出色的高分辨率图像，同时保持3D重建中的结构一致性。代码将公开发布。

论文试图解决3D场景超分辨率重建中缺乏3D一致性和视觉质量之间的平衡问题。传统方法如图像上采样或视频超分辨率未能显式考虑3D结构的一致性，导致重建结果在不同视角下可能存在不连贯的问题。这是一个相对较新的研究问题，尤其是在结合显式3D表示和2D扩散模型的背景下。

论文提出3DSR，一种基于3D高斯点绘（Gaussian Splatting）的超分辨率框架，利用现成的扩散模型进行2D图像增强，同时通过显式的3D表示保证多视角下的一致性。其创新之处在于：1）首次将扩散模型与3D高斯点绘相结合用于超分辨率；2）无需微调即可实现高质量且空间一致的3D重建。

1. 实验在MipNeRF360和LLFF数据集上进行，验证了方法在视觉质量和3D结构一致性方面的有效性 2. 使用现成的2D扩散模型，无需额外训练或微调，降低了实现门槛 3. 代码将开源，有助于推动后续研究和实际应用

1. 《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》 2. 《Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields》 3. 《Gaussian Splatting for Real-Time Radiance Field Rendering》 4. 《Diffusion Models Beat GANs on Image Synthesis》 5. 《Video Super-Resolution with Temporal Consistency and Motion Compensation》