SurMo: Surface-based 4D Motion Modeling for Dynamic Human Rendering

动态人物渲染技术已经通过将渲染视为从静态姿势到人物图像的映射而取得了显著进展。然而，现有方法侧重于对每一帧的人物外观重建，而时间运动关系并没有得到充分探索。本文提出了一种新的4D运动建模范式SurMo，它在统一框架中联合建模时间动态和人物外貌，具有三个关键设计：1）基于表面的运动编码，使用有效紧凑的基于表面的三平面对4D人体运动进行建模。它在统计身体模板的密集表面流形上对空间和时间运动关系进行编码，继承了身体拓扑先验知识，可用于稀疏训练观察的可推广新视角合成。2）物理运动解码，旨在通过在训练阶段将t时刻的运动三平面特征解码为预测下一个时刻t+1的空间导数和时间导数来鼓励物理运动学习。3）4D外观解码，通过高效的体积表面条件渲染器将运动三平面渲染成图像，重点关注具有运动学习条件的身体表面渲染。大量实验证实了我们新范式的最先进性能，并阐明了基于表面运动三平面对高保真度、视角一致的人物进行快速运动和甚至运动相关阴影渲染的表现力。我们的项目页面位于：https://taohuumd.github.io/projects/SurMo/。

论文旨在解决动态人类渲染中存在的问题，即现有方法注重每个单独帧的人类外观重建，而未充分探索时间运动关系。

论文提出了一种新的4D运动建模范式SurMo，它在统一框架中联合建模了时间动态和人类外貌，具有三个关键设计：1）基于表面的运动编码，使用高效紧凑的基于表面的三面体对4D人类运动进行建模。2）物理运动解码，通过在训练阶段将t时刻的运动三面体特征解码为下一个t + 1时刻的空间导数和时间导数来促进物理运动学习。3）4D外观解码，通过高效的体积表面条件渲染器将运动三面体渲染成图像，重点关注运动学习条件下的身体表面渲染。

论文的亮点在于提出了基于表面的运动三面体来渲染高保真度的视角一致的人类，能够处理快速运动和甚至是运动相关的阴影。实验结果表明，SurMo具有最先进的性能，具有表面运动三面体的表现力，能够使用稀疏的训练观察结果进行广义的新视角合成。论文提供了项目页面和开源代码。

在这个领域中，最近的相关研究包括：Deep Video-Based Performance Synthesis（SIGGRAPH 2020），Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans（ECCV 2020），Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop（CVPR 2020）。