FPRF: Feed-Forward Photorealistic Style Transfer of Large-Scale 3D Neural Radiance Fields

我们提出了FPRF，一种用于大规模3D神经辐射场的前馈逼真风格转移方法。FPRF可以使用任意多个风格参考图像对大规模3D场景进行风格化，而无需进行额外的优化，并保持多视角外观一致性。以往的方法需要进行繁琐的每种风格/场景优化，并且仅适用于小规模3D场景。FPRF通过引入风格分解的3D神经辐射场，有效地对大规模3D场景进行风格化，该场景继承了AdaIN的前馈风格化机制，支持任意风格参考图像。此外，FPRF通过语义对应匹配和本地AdaIN支持多参考风格化，为3D场景风格增加了多样的用户控制。FPRF还通过直接将语义匹配和风格转移过程应用于3D空间中的查询特征，来保持多视角一致性。在实验中，我们展示了FPRF在使用不同参考图像的大规模场景的逼真风格化方面取得了有利的结果。项目页面：https://kim-geonu.github.io/FPRF/

本论文旨在解决大规模三维神经辐射场的风格转移问题，支持任意多个风格参考图像的风格转移，同时保持多视角外观一致性。

本文提出了FPRF，一种基于前馈的风格转移方法，通过引入风格分解的三维神经辐射场，继承了AdaIN的前馈风格化机制，支持任意多个风格参考图像的风格转移，并且通过语义匹配和局部AdaIN支持多参考图像的风格转移，同时通过在三维空间中查询特征并直接应用语义匹配和风格转移过程来保持多视角一致性。

本文的亮点包括：1. 支持任意多个风格参考图像的风格转移；2. 通过语义匹配和局部AdaIN支持多参考图像的风格转移；3. 通过在三维空间中查询特征并直接应用语义匹配和风格转移过程来保持多视角一致性；4. 实验结果表明本文方法在大规模三维场景的风格转移方面表现出色。

在这个领域中，最近的相关研究包括：1. Neural Radiance Fields for Unconstrained Photo Collections（ECCV 2020）；2. Neural Scene Graphs for Dynamic Scenes（CVPR 2021）；3. Multi-View Neural Surface Reconstruction with Implicit Lighting and Material（CVPR 2021）等。