SpectralGaussians: Semantic, spectral 3D Gaussian splatting for multi-spectral scene representation, visualization and analysis

我们提出了一种新颖的跨光谱渲染框架，基于三维高斯喷洒（3DGS），可以从已注册的多视角光谱和分割图生成逼真且语义有意义的喷洒。该扩展增强了具有多种光谱的场景的表示，提供了对基础材料和分割的见解。我们引入了一种改进的基于物理的高斯喷洒渲染方法，估计每个光谱的反射率和光照，从而提高了准确性和逼真度。在全面的定量和定性评估中，我们展示了我们的方法相对于其他最近的基于学习的光谱场景表示方法（即XNeRF和SpectralNeRF）以及其他非光谱的最新基于学习的方法的优越性能。我们的工作还展示了光谱场景理解在精确场景编辑技术（如风格转移、修补和去除）中的潜力。因此，我们的贡献解决了多光谱场景表示、渲染和编辑中的挑战，为各种应用提供了新的可能性。

本论文旨在解决多光谱场景表示、渲染和编辑的挑战，提出了一种基于3D高斯散点（3DGS）的新型跨光谱渲染框架，可以生成逼真且语义有意义的散点。

本论文的关键思路是使用3D高斯散点（3DGS）生成多光谱场景的逼真渲染，通过提高高斯散点的物理渲染方法来估计每个光谱的反射率和光照，从而提高准确性和逼真度。

本论文的实验结果表明，相较于其他最新的基于学习的光谱场景表示方法（如XNeRF和SpectralNeRF）以及其他非光谱的基于学习的方法，本方法具有卓越的性能。此外，本文还展示了光谱场景理解在精确场景编辑技术（如风格转移、修复和去除）方面的潜力。

最近的相关研究包括XNeRF和SpectralNeRF。