FaceCom: Towards High-fidelity 3D Facial Shape Completion via Optimization and Inpainting Guidance

我们提出了FaceCom，一种用于3D面部形状补全的方法，可以为任意形式的不完整面部输入提供高保真度的结果。与基于点云或体素的端到端形状补全方法不同，我们的方法依赖于基于网格的生成网络，易于优化，使其能够处理不规则面部扫描的形状补全。我们首先在包含2405个身份的混合3D面部数据集上训练形状生成器。根据不完整的面部输入，我们使用图像修复引导下的优化方法来拟合完整的面部。补全结果通过后处理步骤进行精化。FaceCom展示了有效而自然地完成具有不同缺失区域和缺失程度的面部扫描数据的能力。我们的方法可用于医疗假肢制造和不足扫描数据的注册。我们的实验结果表明，FaceCom在拟合和形状补全任务中取得了出色的性能。代码可在https://github.com/dragonylee/FaceCom.git上获得。

论文试图解决3D面部形状不完整的问题，特别是针对不规则面部扫描数据的形状完成问题。

论文提出了一种基于网格的生成网络方法，通过图像修复指导下的优化方法，实现对不完整面部输入的高保真度形状完成。

论文使用了混合3D面部数据集进行形状生成器的训练，并通过后处理步骤对完成结果进行了优化。FaceCom方法可以在不同缺失区域和程度的情况下有效自然地完成面部扫描数据，适用于医疗假肢制造和不足扫描数据的注册。代码已开源。

近期相关研究包括基于点云或体素的端到端形状完成方法，如PCN、TopNet等。