Representing Animatable Avatar via Factorized Neural Fields

本文探讨了一个观察结果，即每帧渲染结果可以分解为一个与姿态无关的部分和一个相应的与姿态相关的等效部分，以实现帧的一致性，从而重建高保真度的人类三维模型。通过限制这两个组成部分的频率带，可以进一步改善姿态自适应纹理。具体而言，预计姿态无关的输出应为低频，而高频信息与姿态相关。我们通过一种具有不同频率成分的双分支网络，实现了整个输入视频中粗略身体轮廓和随时间变化的细粒度纹理特征的一致保留。第一个分支以规范空间中的坐标为输入，而第二个分支另外考虑了第一个分支输出的特征和每个帧的姿态信息。我们的网络整合了两个分支预测的信息，并利用体积渲染生成照片般逼真的三维人体图像。通过实验，我们证明了我们的网络在保留高频细节和确保一致的身体轮廓方面优于基于神经辐射场（NeRF）的最先进方法。

本文旨在重建高保真度的人体3D模型，同时保持一致的大规模身体形状和精细匹配的皱纹，解决单目视频的3D人体重建问题。

本文提出了一个双分支网络，通过将每帧渲染结果分解成与姿势无关的部分和相应的与姿势相关的等效部分，以实现帧一致性。通过限制这两个组成部分的频率带，进一步改善了姿势自适应纹理。

本文的亮点包括使用双分支网络解决单目视频3D人体重建问题，提出了一种将每帧渲染结果分解成与姿势无关的部分和相应的与姿势相关的等效部分的方法，以实现帧一致性和高频细节的保留。实验结果表明，本文的方法在保持一致的身体轮廓和高频纹理特征方面优于当前最先进的神经辐射场（NeRF）方法。

在这个领域中，最近的相关研究包括NeRF、SPIN、HoloPose等。