URHand: Universal Relightable Hands

现有的逼真的可重照手模型需要在不同视角、姿势和光照下进行广泛的身份特定观察，并面临着推广到自然光照和新颖身份的挑战。为了弥合这一差距，我们提出了URHand，这是第一个可以在视角、姿势、光照和身份之间泛化的通用可重照手模型。我们的模型允许使用手机拍摄的图像进行少量拍摄个性化，并准备在新颖光照下进行逼真的渲染。为了简化个性化过程，同时保持逼真度，我们基于手部多视图图像的神经照明建立了一个强大的通用可重照先验。关键挑战是在保持个性化保真度和清晰细节的同时扩展跨身份训练，而不影响在自然光照下的泛化。为此，我们提出了一种空间变化的线性照明模型作为神经渲染器，它以物理启发的着色作为输入特征。通过去除非线性激活和偏差，我们专门设计的照明模型明确保持了光传输的线性性。这使得从光舞台数据进行单阶段训练时可以泛化到跨不同身份的任意连续光照下的实时渲染。此外，我们介绍了基于物理的模型和我们的神经照明模型的联合学习，进一步提高了保真度和泛化性。大量实验证明，我们的方法在质量和泛化性方面均优于现有方法。我们还展示了从未见过的身份的短暂手机扫描快速个性化URHand的能力。

提出了第一个通用的可重照手模型URHand，旨在解决现有手模型需要大量个体化观察才能泛化的问题。

通过使用基于神经重照的通用重照先验，结合物理启发的阴影作为输入特征的空间变化线性光照模型，实现了单阶段训练并在不同身份和自然光照下进行快速个性化。

论文中提出的URHand是第一个通用的可重照手模型，能够泛化到不同视角、姿势、光照和身份。论文使用多视图手图像训练通用重照先验，并使用线性光照模型实现了单阶段训练。此外，论文还介绍了基于物理的模型和神经重照模型的联合学习，进一步提高了保真度和泛化能力。实验结果表明，该方法在质量和泛化能力方面均优于现有方法。

在最近的相关研究中，一些研究专注于手部建模和重照，例如《DeepHPS: End-to-End Estimation of 3D Hand Pose and Shape by Learning from Synthetic Depth》和《Deep Reflectance Fields: High-Quality Facial Reflectance Field Inference from Color Gradient Illumination》。