HHMR: Holistic Hand Mesh Recovery by Enhancing the Multimodal Controllability of Graph Diffusion Models

近年来，生成和重建范式的深度融合成为一种趋势。在本文中，我们扩展了可控生成模型的能力，实现了更全面的手部网格恢复任务：直接手部网格生成、修复、重建和拟合，这些任务在一个框架中被称为全面手部网格恢复（HHMR）。我们的关键观察是，一个单一的生成模型具有强大的多模态可控性，可以实现不同类型的手部网格恢复任务，而在这样的框架中，实现不同的任务只需要给出不同的信号作为条件。为了实现这个目标，我们提出了一种基于图卷积和注意机制的全面手部网格恢复的全能扩散框架。为了在保证多模态控制信号解耦的同时实现强大的控制生成能力，我们将不同的模态映射到一个共享的特征空间，并在模态和特征级别上应用交叉尺度随机掩蔽。通过这种方式，不同模态之间的相关性可以在学习手先验知识时充分利用。此外，我们提出了条件对齐梯度引导来增强生成模型与控制信号的对齐，这显著提高了手部网格重建和拟合的精度。实验表明，我们的新框架可以同时实现多种手部网格恢复任务，并在不同任务中优于现有方法，这为后续的下游应用包括手势识别、姿势生成、网格编辑等提供了更多可能性。

本文旨在扩展可控生成模型的能力，提出一种名为Holistic Hand Mesh Recovery (HHMR)的综合手部网格恢复框架，实现直接手部网格生成、修补、重建和拟合等多种任务。论文的目标是通过一个具有强大多模态可控性的单一生成模型，实现不同类型的手部网格恢复任务，只需给出不同的条件信号。

本文提出了一种基于图卷积和注意机制的全方位手部网格恢复扩散框架，通过将不同的模态映射到共享的特征空间，并在模态和特征级别上应用交叉比例随机掩蔽，实现强大的控制生成能力，同时确保多模态控制信号的解耦。此外，还提出了Condition-aligned Gradient Guidance来增强生成模型与控制信号的对齐，从而显著提高手部网格重建和拟合的准确性。

本文的亮点包括：1. 提出了一种全方位手部网格恢复扩散框架，可以同时实现多种手部网格恢复任务。2. 通过交叉比例随机掩蔽实现了强大的控制生成能力。3. 提出了Condition-aligned Gradient Guidance来增强生成模型与控制信号的对齐，从而显著提高了恢复和拟合的准确性。实验使用公开数据集，取得了优秀的实验结果。

近年来，手部姿态估计和手部网格恢复领域的研究非常活跃。相关研究包括：《Hand Mesh Recovery From A Single RGB Image》、《End-to-End Hand Mesh Recovery From A Monocular RGB Image》等。