NOVA-3D: Non-overlapped Views for 3D Anime Character Reconstruction

在动画行业中，3D建模师通常依靠前后不重叠的概念设计来指导动漫角色的3D建模。然而，目前缺乏直接从这些2D设计中生成动漫角色的自动化方法。因此，我们探索了一种新颖的任务，即从非重叠视角重建动漫角色。这提出了两个主要挑战：由于缺乏重叠区域，现有的多视角方法无法直接应用；全身动漫角色数据和标准基准数据也很少。为了弥补这一差距，我们提出了一种新框架，名为Non-Overlapped Views for 3D Anime Character Reconstruction（NOVA-3D），它实现了一种视角感知特征融合方法，可以有效地学习3D一致的特征，并直接从前后非重叠视角合成全身动漫角色。为了促进这一研究方向，我们收集了NOVA-Human数据集，其中包括3D动漫角色的多视角图像和准确的相机参数。广泛的实验表明，所提出的方法优于基准方法，在细节保真度方面实现了卓越的动漫角色重建。此外，为了进一步验证我们方法的有效性，我们将其应用于动画头部重建任务，并将其改进到SSIM 94.453，LPIPS 7.726和PSNR 19.575。代码和数据集可以在https://wanghongsheng01.github.io/NOVA-3D/上获得。

本论文旨在解决从非重叠视角重建动漫角色的问题。该任务存在两个主要挑战：现有的多视角方法由于缺乏重叠区域而无法直接应用，同时缺乏全身动漫角色数据和标准基准。

本论文提出了一种新的框架NOVA-3D，该框架实现了一种视角感知特征融合方法，可以有效地学习3D一致的特征，并直接从非重叠的前后视角合成全身动漫角色。

本论文收集了NOVA-Human数据集，该数据集包括用于3D动漫角色的多视角图像和准确的相机参数。实验结果表明，所提出的方法优于基线方法，在重建动漫角色时具有更好的细节保留能力。此外，该方法还在动画头部重建任务中取得了优异的实验结果。

最近的相关研究包括使用深度学习技术重建3D模型的工作，以及使用多视角图像重建3D模型的工作。其中一些论文包括：《Pixel2Mesh++: Multi-View 3D Mesh Generation via Deformation》和《Multi-View Stereo for Community Photo Collections》等。