StyleSplat: 3D Object Style Transfer with Gaussian Splatting

最近辐射场技术的进步为创造高质量的三维资产和场景开辟了新的途径。样式转移可以增强这些三维资产，赋予不同的艺术风格，实现创造性的表达。然而，现有技术通常速度较慢，或无法将样式转移定位到特定对象。我们介绍了StyleSplat，一种轻量级的方法，用于在由参考样式图像的三维高斯表示的场景中为三维对象添加风格。我们的方法首先使用三维高斯喷涂学习场景的照片级表示，同时分割单个三维对象。然后，我们使用最近邻特征匹配损失来微调所选对象的高斯函数，将它们的球谐系数与样式图像对齐，以确保一致性和视觉吸引力。StyleSplat允许快速、可定制的样式转移和场景内多个对象的本地化风格化，每个对象都有不同的风格。我们展示了它在各种三维场景和风格中的有效性，展示了在三维创作中增强的控制和定制化。

论文旨在通过引入新的技术，解决现有技术在3D场景中样式转移速度慢、无法局部化的问题。

文章提出了一种轻量级的方法，使用3D高斯分布来表示场景，并使用最近邻特征匹配损失来调整选定对象的高斯分布，以实现快速、可定制的样式转移和局部化样式转移。

该方法可以在多个对象中进行局部化样式转移，并且每个对象可以使用不同的样式。作者展示了该方法在各种3D场景和样式中的有效性，并展示了在3D创作中增强控制和定制性的能力。论文使用了开源数据集，并提供了代码。

最近的相关研究包括：DeepSDF、Occupancy Networks、NeRF等。