High-Quality Mesh Blendshape Generation from Face Videos via Neural Inverse Rendering

本文观察到可随意编辑的网格混合形状已被广泛应用于动画制作流程，而最近的神经几何和外观表示技术使高质量的逆向渲染成为可能。基于这些观察结果，本文介绍了一种新技术，可以从单个或稀疏的多视角视频中重建基于网格的混合形状系统，利用最先进的神经逆向渲染技术。首先，我们构建了一种变形表示，将顶点位移参数化为具有四面体连接的微分坐标，从而允许在高分辨率网格上进行高质量的顶点变形。通过在这种表示中构建一组语义规则，我们实现了混合形状和表情系数的联合优化。此外，为了实现用户友好的多视角设置和不同步的相机，我们提出了一个神经回归器来模拟时变运动参数。这种方法隐含地考虑了多个相机之间的时间差异，提高了运动建模的准确性。实验表明，通过单个或稀疏的多视角视频的灵活输入，我们可以重建个性化的高保真混合形状。这些混合形状在几何和语义上都非常准确，并且与工业动画制作流程兼容。代码和数据可在https://github.com/grignarder/high-quality-blendshape-generation上获得。

本篇论文旨在通过利用神经反演渲染技术，从单个或稀疏的多视角视频中重建基于网格的混合形状模型，以解决基于网格的混合形状模型的个性化重建问题。

论文提出了一种新的技术，通过构建变形表示来将顶点位移参数化为具有四面体连接的微分坐标，从而实现高分辨率网格上的高质量顶点变形。通过在这种表示中构建一组语义规则，实现混合形状和表情系数的联合优化。此外，为了实现用户友好的多视角设置，论文提出了一种神经回归器来模拟时变运动参数。

论文的亮点在于：1. 提出了一种新的技术，可以从单个或稀疏的多视角视频中重建个性化的高保真混合形状模型；2. 通过构建变形表示和语义规则，实现了混合形状和表情系数的联合优化；3. 提出了一种神经回归器来模拟时变运动参数，从而提高了运动建模的准确性。

在这个领域中，最近的相关研究包括：1.《DeepCap: Monocular Human Performance Capture Using Weak Supervision》；2.《Neural 3D Mesh Renderer》；3.《Neural Scene Flow Fields for Space-Time View Synthesis of Human Motion》。