SphereHead: Stable 3D Full-head Synthesis with Spherical Tri-plane Representation

尽管近年来3D感知生成对抗网络（GAN）的进展促进了近正面视角人脸合成的发展，但全方位可视化的3D头部综合仍然具有挑战性。虽然PanoHead证明了使用既有正面视图又有背面视图的大规模数据集进行全头综合的可能性，但它经常会为背面视图造成伪影。通过我们的深入分析，我们发现原因主要有两个方面。首先，从网络架构的角度来看，我们发现所使用的三平面/三网格表示空间中的每个平面往往会混淆两侧的特征，从而导致“镜像”伪影（例如，眼镜出现在背面）。其次，从数据监督方面来看，我们发现3D GAN中现有的鉴别器训练主要关注渲染图像本身的质量，并不太在意它从哪个角度渲染的可信度。这使得在非正面视图中生成“面部”成为可能，因为它很容易欺骗鉴别器。为此，我们提出了SphereHead，这是一种新颖的三平面表示，采用球坐标系来适应人头的几何特征，并有效地减少了许多生成的伪影。我们进一步引入了一种视图-图像一致性损失，以强调相机参数和图像之间的对应关系。这些努力的结合产生了视觉上更优越的结果，并显著减少了伪影。我们的代码和数据集可在https://lhyfst.github.io/spherehead上公开获取。

解决问题：论文试图解决全头部3D合成中存在的后视图伪影问题，同时提高渲染图像的合理性和真实性。

关键思路：论文提出了一种新的三平面表示法，即基于球面坐标系的SphereHead，以更好地适应人头的几何特征，并引入视图-图像一致性损失来强调相机参数和图像之间的对应关系。

其他亮点：论文的实验结果表明，使用SphereHead和视图-图像一致性损失可以显著减少生成的伪影，从而获得更真实的3D头部合成图像。作者还公开了代码和数据集。

相关研究：最近的相关研究包括PanoHead和3D GANs等。