Reference-Based 3D-Aware Image Editing with Triplane

生成对抗网络（GANs）不仅是高质量图像生成的强大工具，还可通过操作可解释的潜在空间进行真实图像编辑。GANs的最新进展包括3D感知模型的开发，如EG3D，其特点是高效的三平面架构，可以从单个图像中重建3D几何。然而，在该领域中，很少有人关注提供高质量基于参考的3D感知图像编辑的综合框架。本研究通过探索和展示EG3D的三平面空间在实现高级基于参考的编辑方面的有效性，提出了一种独特的3D感知图像编辑视角。我们的方法集成了三平面特征的编码、空间分离以及在三平面域中特征的自动定位和融合学习以实现所需的图像编辑。此外，我们的框架在不同领域展示了通用性，扩展其对动物面部编辑和卡通肖像的部分风格化的有效性。该方法在定性和定量上都显示出比相关的3D感知潜在编辑和基于2D参考的编辑方法都有显着的改进。项目页面：https://three-bee.github.io/triplane_edit。

论文旨在提供一个集成的框架，用于高质量的基于参考图像的三维感知图像编辑，解决了当前领域中缺乏此类框架的问题。

论文的关键思路是将EG3D的三面图空间用于实现高级基于参考图像的编辑，包括特征编码、空间解缠和特征自动定位，以及融合学习等步骤。

论文的实验结果表明，该框架在动物面部编辑和卡通肖像的部分风格化方面表现出了高度的灵活性和有效性。此外，论文还提供了项目页面和开源代码。

最近的相关研究包括GANs的高质量图像生成和编辑，以及EG3D等三维感知模型的发展。