HiLo: Detailed and Robust 3D Clothed Human Reconstruction with High-and Low-Frequency Information of Parametric Models

本文研究重构穿衣人的三维模型，该技术可以应用于虚拟试穿、电影和游戏等领域。为了实现实用和广泛应用，最近的研究提出从RGB图像中生成穿衣人的方法。然而，这些方法难以同时重构出详细和鲁棒的人体模型。本研究经验性地发现，参数化模型中的高频和低频信息分别具有增强几何细节和提高鲁棒性的潜力。基于此，本文提出了HiLo，即利用高频和低频信息进行穿衣人重构的方法，包含两个部分。第一部分是利用高频信息恢复详细几何信息，本文提出了渐进式高频符号距离函数，以增强穿衣人的详细三维几何信息。该方法通过分阶段学习，缓解了阻碍模型收敛的大梯度问题。第二部分是利用低频信息实现对参数化模型不准确估计的鲁棒重构，本文提出了空间交互隐式函数。该函数有效地利用了参数化模型低分辨率体素网格的补充空间信息。实验结果表明，HiLo在Thuman2.0和CAPE数据集上的Chamfer距离指标上分别比现有最先进方法提高了10.43%和9.54%。此外，HiLo还具有抗参数化模型噪声、复杂姿势和不同服装风格的鲁棒性。

本文旨在解决从RGB图像中重建穿衣人的问题，同时提高重建的准确性和细节。

本文的关键思路是利用高频和低频信息来提高准确性和细节。其中，高频信息用于提高几何细节，低频信息则用于提高模型的鲁棒性。

本文提出了HiLo方法，包括逐步高频有符号距离函数和空间交互隐式函数。实验结果表明，HiLo在Thuman2.0和CAPE数据集上的Chamfer距离上优于现有方法。此外，HiLo还表现出对噪声、挑战性姿势和不同服装风格的鲁棒性。

与本文相关的研究包括：Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop、PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization等。