Authentic Hand Avatar from a Phone Scan via Universal Hand Model

本文提出了一种通用手部模型（UHM），可以普遍地表示任意身份的高保真度三维手部网格，并可通过短时间的手机扫描适应每个人的真实手部动态。为了实现有效的通用手部建模，本文同时进行跟踪和建模，而之前的三维手部模型是分别进行的。传统的分离式流程会受到跟踪阶段积累误差的影响，而这种误差在建模阶段无法恢复。相反，本文的方法不会受到积累误差的影响，同时具有更简洁的总体流程。此外，本文还引入了一种新的图像匹配损失函数，以解决跟踪和建模过程中的皮肤滑动问题，而现有的研究并没有太多关注这个问题。最后，利用从UHM中学习到的先验知识，我们有效地将UHM适应到每个人的短时间手机扫描中，以获得真实的手部动态。

本文旨在提出一种通用的手部模型，能够在AR/VR中提供高保真度的3D手部模型，并能够适应任意身份。同时，该模型可以通过短暂的手机扫描适应每个人的手部模型。

本文提出了一种新的方法，将跟踪和建模同时进行，从而避免了跟踪阶段的误差累积。此外，本文还引入了一种新的图像匹配损失函数来解决皮肤滑动的问题。最后，使用学习的先验知识，本文有效地将通用手部模型适应于每个人的手部模型。

本文的亮点包括：1. 提出了一种同时进行跟踪和建模的新方法；2. 引入了一种新的图像匹配损失函数来解决皮肤滑动问题；3. 使用学习的先验知识，能够将通用手部模型适应于每个人的手部模型。本文的实验使用了多个数据集，并且提供了开源代码。值得进一步研究的是如何将该方法应用于其他部位的建模。

在这个领域中，最近的相关研究包括：1.《End-to-end hand mesh recovery from a monocular RGB image》；2.《DeepHPS: End-to-end Estimation of 3D Hand Pose and Shape by Learning from Synthetic Depth》；3.《3D Hand Shape and Pose from Images in the Wild》。