FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces

三维动态人脸捕捉的渲染是一个具有挑战性的问题，需要在多个方面进行改进，包括逼真度、效率、兼容性和可配置性。我们提出了一种新颖的表示方法，可以以最小的计算和内存占用高质量地进行演员动态面部表演的体积渲染。它可以在普通图形软件和硬件上本地运行，并允许在质量和效率之间进行优雅的平衡。我们的方法利用了神经渲染的最新进展，特别是学习离散辐射流形以稀疏采样场景来模拟体积效应。我们通过学习整个动态序列的单个流形集来实现有效建模，同时将外观变化隐式地建模为时间规范纹理。我们导出了一个单层网格和视角无关的RGBA纹理视频，与传统的图形渲染器兼容，无需额外的机器学习集成。我们通过在游戏引擎中渲染真实演员的动态面部捕捉，展示了我们的方法，在以前未见的帧速率下实现了与最先进的神经渲染技术相当的逼真度。

如何高效地进行动态面部捕捉的3D渲染？

通过学习离散辐射流形来稀疏采样场景，以建模体积效应，同时隐式建模外观变化作为时间规范纹理，从而实现对演员动态面部表演的高质量体积渲染。

该方法可以在普通图形软件和硬件上运行，具有优秀的效率和兼容性；通过学习单个流形集来实现高效建模；输出单层网格和独立于视角的RGBA纹理视频，与传统图形渲染器兼容，同时具有可比性和高逼真度。

最近的相关研究包括基于神经渲染的技术，如学习视角不变的表示、高效的体积渲染和离散辐射流形建模等。