StyleDyRF: Zero-shot 4D Style Transfer for Dynamic Neural Radiance Fields

4D风格转换旨在将任意视觉风格转移到具有不同视角和时间的动态4D场景的合成新视图中。现有的3D风格转换可以有效地结合风格图像和神经辐射场（NeRF）的视觉特征，但无法处理受静态场景假设限制的4D动态场景。因此，我们首次处理了4D风格转换的新挑战性问题，进一步要求在动态对象上的风格化结果的一致性。在本文中，我们介绍了StyleDyRF，一种通过变形规范特征体积来表示4D特征空间，并以数据驱动的方式在特征体积上学习线性风格转换矩阵的方法。为了获得规范特征体积，每个时间步长的射线都使用预训练动态NeRF的几何先验进行变形，以在预训练视觉编码器的监督下呈现特征映射。利用规范特征体积和风格图像中的内容和风格提示，我们可以使用轻量级神经网络从它们的协方差矩阵中学习风格转换矩阵。学习的风格转换矩阵可以反映从内容体积到给定风格模式的特征协方差的直接匹配，类似于传统2D神经风格转换中Gram矩阵的优化。实验结果表明，我们的方法不仅可以以零样本的方式呈现4D逼真的风格转换结果，而且在视觉质量和一致性方面优于现有方法。

4D style transfer for dynamic scenes with varying viewpoints and times

StyleDyRF method that represents the 4D feature space by deforming a canonical feature volume and learns a linear style transformation matrix on the feature volume in a data-driven fashion.

Experimental results show photorealistic style transfer results in a zero-shot manner and outperforms existing methods in visual quality and consistency. Method uses pre-trained dynamic NeRF, visual encoders, and lightweight neural networks to learn style transformation matrix. No open-source code or datasets mentioned.

Related work includes 3D style transfer with neural radiance fields (NeRF) and traditional 2D neural style transfer with optimization of the Gram matrix.