GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time

本文提出了一种新颖的方法GGRt，用于可推广的新视角合成，它减轻了对真实相机姿态、高分辨率图像处理的复杂性和漫长的优化过程的需求，从而促进了3D高斯喷洒（3D-GS）在实际场景中的应用。具体而言，我们设计了一个新颖的联合学习框架，包括一个迭代姿态优化网络（IPO-Net）和一个通用的3D高斯模型（G-3DG）。通过联合学习机制，所提出的框架可以从图像观察中固有地估计出强健的相对姿态信息，从而主要减轻了对真实相机姿态的要求。此外，我们实现了一个延迟反向传播机制，可以进行高分辨率的训练和推理，克服了先前方法的分辨率限制。为了提高速度和效率，我们进一步引入了一个渐进式高斯缓存模块，在训练和推理过程中动态调整。作为第一个无需姿态的可推广3D-GS框架，GGRt实现了≥5 FPS的推理和≥100 FPS的实时渲染。通过广泛的实验，我们证明了我们的方法在推理速度和有效性方面优于现有的基于NeRF的无姿态技术。它也可以接近基于真实姿态的3D-GS方法。我们的贡献为计算机视觉和计算机图形学的实际应用提供了重大的飞跃，为LLFF、KITTI和Waymo Open数据集提供了最先进的结果，并实现了沉浸式体验的实时渲染。

本文旨在解决通用的新视角合成问题，同时减轻实际相机姿态、高分辨率图像处理的复杂性和漫长的优化过程的需求，从而促进3D高斯喷洒（3D-GS）在实际应用中的更强适用性。

本文提出了一种新的联合学习框架，包括迭代姿态优化网络（IPO-Net）和通用3D高斯模型（G-3DG），该框架可以从图像观测中固有地估计出强韧的相对姿态信息，从而主要减轻了对实际相机姿态的要求。

本文的亮点包括实现了延迟反向传播机制，提高了高分辨率训练和推理的能力；进一步引入了渐进高斯缓存模块，可以在训练和推理过程中动态调整，提高了速度和效率；本文的贡献在LLFF、KITTI和Waymo Open数据集上取得了最先进的结果，实现了实时渲染。

最近在这个领域中，与本文相关的研究包括NeRF-based pose-free技术和基于实际相机姿态的3D-GS方法。