StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting

我们介绍了StyleGaussian，这是一种新颖的3D风格转移技术，可以在每秒10帧的速度下将任何图像的风格即时转移到3D场景中。通过利用3D高斯光斑（3DGS），StyleGaussian实现了风格转移，同时不会影响其实时渲染能力和多视角一致性。它通过三个步骤实现即时风格转移：嵌入、转移和解码。最初，将2D VGG场景特征嵌入到重建的3D高斯光斑中。接下来，根据参考风格图像转换嵌入的特征。最后，将转换后的特征解码为风格化的RGB。StyleGaussian有两个新颖的设计。第一个是高效的特征渲染策略，先渲染低维特征，然后在嵌入VGG特征时将它们映射到高维特征中。它显著减少了内存消耗，并使3DGS能够渲染高维内存密集型特征。第二个是基于K最近邻的3D CNN。作为风格化特征的解码器，它消除了破坏严格多视角一致性的2D CNN操作。广泛的实验表明，StyleGaussian实现了即时的3D风格化，同时保持了实时渲染和严格的多视角一致性。项目页面：https://kunhao-liu.github.io/StyleGaussian/

StyleGaussian试图解决的问题是实现即时的3D风格转移，而不影响实时渲染和严格的多视角一致性。这是一个新问题。

StyleGaussian的解决方案的关键思路是使用3D高斯光滑（3DGS）技术，将2D VGG场景特征嵌入到重建的3D高斯中，然后根据参考风格图像对嵌入特征进行转换，并将转换后的特征解码为风格化的RGB。

StyleGaussian的亮点包括高效的特征渲染策略和基于K最近邻的3D CNN解码器。实验使用了多个数据集，并且开源了代码。该论文的工作为即时3D风格转移提供了新的解决方案。

最近在这个领域中，还有一些相关的研究，如3D-CODED、3D-SDN和3D-SPADE。