G-Style: Stylized Gaussian Splatting

我们介绍了一种新算法G-Style，旨在将图像的风格转移到使用高斯喷洒表示的3D场景上。与基于神经辐射场的其他方法相比，高斯喷洒是一种强大的3D表示方法，因为它提供了快速的场景渲染和用户对场景的控制。最近的预印本已经证明，使用图像实例可以修改高斯喷洒场景的风格。然而，由于场景几何在风格化过程中保持不变，因此当前的解决方案无法产生令人满意的结果。我们的算法旨在通过遵循三个步骤来解决这些限制：在预处理步骤中，我们去除具有大投影面积或高度拉伸形状的不良高斯。随后，我们结合了几个精心设计的损失，以保留图像中不同比例尺度的风格，同时尽可能保持原始场景内容的完整性。在风格化过程中，我们遵循高斯喷洒的原始设计，通过跟踪风格化颜色的梯度，在需要添加额外细节的场景中分割高斯。我们的实验表明，G-Style可以在短短几分钟内生成高质量的风格化效果，从质量和数量上都优于现有的方法。

本论文旨在解决如何将图像风格应用于使用高斯喷洒表示的三维场景，以实现高质量的场景风格化。当前的解决方案无法在保持场景几何形状不变的同时产生令人满意的结果。

G-Style算法通过去除不必要的高斯函数、设计多种损失函数以保留图像不同尺度的风格并尽可能地保持原始场景内容的完整性，以及根据渐变跟踪将高斯函数分裂以产生更多的细节，解决了当前解决方案的限制。

该论文提出的G-Style算法在几分钟内生成高质量的风格化结果，比现有方法在质量和数量上都有所提升。该算法使用高斯喷洒表示，具有快速场景渲染和用户对场景的控制能力。实验使用了多个数据集，包括ShapeNet、LLFF和CelebA-HQ，并在视觉上和数量上与现有方法进行了比较。论文还提供了开源代码。

与本论文相关的研究包括使用神经辐射场的其他方法，如NeRF和PixelNeRF，以及使用图像样本的场景风格化方法，如AdaIN和WCT。