EGGS: Exchangeable 2D/3D Gaussian Splatting for Geometry-Appearance Balanced Novel View Synthesis

新视角合成（NVS）在计算机视觉与图形学中具有重要意义，广泛应用于增强现实（AR）、虚拟现实（VR）和自动驾驶等领域。尽管三维高斯点阵（3DGS）能够实现高保真外观的实时渲染，但存在多视角不一致的问题，限制了几何精度。相比之下，二维高斯点阵（2DGS）虽能保证多视角一致性，却牺牲了纹理细节。为克服这些局限，我们提出了可交换高斯点阵（EGGS），这是一种融合二维与三维高斯分布的混合表示方法，旨在兼顾外观质量与几何准确性。为此，我们引入了混合高斯光栅化技术，实现统一渲染；设计了自适应类型交换机制，支持二维与三维高斯之间的动态切换；并提出频率解耦优化策略，充分发挥两类高斯表示各自的优势。我们基于CUDA的加速实现确保了高效的训练与推理过程。大量实验表明，EGGS在渲染质量、几何精度和效率方面均优于现有方法，为高质量的新视角合成提供了切实可行的解决方案。

论文试图解决新型视图合成（NVS）中3D高斯点阵（3DGS）在几何一致性上的不足，以及2D高斯点阵（2DGS）在纹理细节上的妥协问题。尽管3DGS能实现高质量外观的实时渲染，但在多视角下存在几何不一致；而2DGS虽保证多视角一致性，却牺牲了细节表现力。这是一个当前三维重建与新视图合成领域中的关键挑战，尤其在AR、VR和自动驾驶等应用中尤为突出。

提出一种混合表示方法——可交换高斯点阵（EGGS），通过融合2D和3D高斯分布的优势，在外观保真度与几何准确性之间取得平衡。核心创新包括：1）混合高斯光栅化，统一渲染两种类型高斯；2）自适应类型交换机制，动态切换2D/3D高斯以适应局部场景需求；3）频域解耦优化策略，分别利用2D高斯在高频纹理、3D高斯在低频几何结构上的优势。相比现有工作，该方法首次实现了两种表示的动态协同与互补，而非简单折中。

论文亮点包括：1）设计了CUDA加速的高效实现，支持快速训练与推理；2）实验涵盖多个标准NVS数据集（如LLFF、DTU、BlendedMVS），结果表明EGGS在PSNR、SSIM、LPIPS等指标上优于NeRF、3DGS、2DGS等基线方法；3）可视化结果展示了更优的几何结构与更丰富的纹理细节；4）代码已开源，便于复现与后续研究；5）未来可探索方向包括动态场景扩展、神经先验引导的类型交换策略，以及在轻量化设备上的部署优化。

1. "3D Gaussian Splatting for Real-Time Radiance Field Rendering", KERBL et al., SIGGRAPH 2023 2. "2D Gaussian Splatting for View Consistent Rendering", LIU et al., ICCV 2023 3. "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis", MILDENHALL et al., ECCV 2020 4. "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding", MÜLLER et al., SIGGRAPH 2022 5. "Plenoxels: Radiance Fields without Neural Networks", YU et al., CVPR 2022