驱动一个数字人往往被拆分为追踪 (Tracking) 与重定向 (Retargeting) 两个环节。追踪由专业的面部捕捉设备及其辅助算法完成，负责记录演员的面部动作信息，重定向则是将捕捉到的动作信息迁移到新的角色。在传统的流程中，这两个环节往往是分离的两套体系，难以融合，且两个环节都有大量不可控的人工发挥成分，互相影响。

 

近些年，随着计算机图形学技术的发展与渲染硬件性能的不断提升，人们已经能够通过复杂的物理模拟，借助离线渲染技术得到无限真实的静态人像。但即便如此，在动态数字人角色的呈现上，我们距离跨越恐怖谷效应还有很长的路要走。虽然人们已经能够在诸如《阿凡达》《双子杀手》等电影中带来与真实演员别无二致的数字替身，但其背后是艺术家手工绑定与手工制作关键帧动画带来的大量资金投入。

 

针对上述问题，上海科技大学科研团队联合数字人底层技术公司影眸科技提出了这样的思路：将首创的 4D PBR 扫描技术与神经网络表达相结合，训练多 VAE 的网络结构，跳过了传统的绑定与动态贴图制作流程。这意味着，无需面捕头盔、无需人工绑定，只需要一段 4D 序列作为训练，RGB 视频就可以实现精细到微表情级别的实时面部捕捉。

论文地址：https://arxiv.org/pdf/2202.05592.pdf
项目地址：https://sites.google.com/view/npfa/

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除