Fine-Grained Multi-View Hand Reconstruction Using Inverse Rendering

重建具有复杂纹理的高保真手部模型在增强人-物体交互和推进现实世界应用方面发挥着关键作用。尽管现有的纹理生成和图像渲染方法处于最先进水平，但它们通常在准确捕捉几何细节方面面临挑战。基于学习的方法通常提供更好的鲁棒性和更快的推理速度，这往往会产生更平滑的结果并需要大量的训练数据。为了解决这些问题，我们提出了一种新颖的细粒度多视角手部网格重建方法，利用反渲染来恢复手部姿态和复杂细节。首先，我们的方法通过基于图卷积网络（GCN）的方法从多视角图像预测参数化手部网格模型。我们进一步引入了一种新颖的手部颜色和网格（HAM）优化模块来优化手部网格和纹理，能够保留网格拓扑结构。此外，我们建议一种有效的基于网格的神经渲染方案，通过将预训练的渲染网络与顶点特征融合来同时生成照片般逼真的图像和优化网格几何形状。我们在InterHand2.6M、DeepHandMesh和我们自己收集的数据集上进行了全面的实验，结果表明，我们提出的方法在重建精度和渲染质量方面优于现有最先进的方法。代码和数据集可在 https://github.com/agnJason/FMHR 上公开获取。

本论文旨在通过多视角图像和反渲染技术实现高保真度手部模型的重建，解决当前方法在准确捕捉几何细节方面的挑战。

本文提出了一种新颖的细粒度多视角手部网格重建方法，利用图卷积网络（GCN）从多视角图像中预测参数化手部网格模型，并引入了一种新的手部颜色和网格（HAM）优化模块，以进一步优化手部网格和纹理。

本文的亮点包括使用反渲染技术恢复手部姿势和细节，引入HAM优化模块以保留网格拓扑结构，提出了一种基于网格的神经渲染方案以同时生成照片级真实感图像和优化网格几何形状。

相关研究包括基于深度学习的手部姿态估计和手部重建方法，如DeepHandMesh和InterHand2.6M。