STMR: Spiral Transformer for Hand Mesh Reconstruction

最近，基于Transformer的方法和螺旋邻居采样技术的进步极大地提高了手部网格重建的能力。Transformer在捕捉复杂顶点关系方面表现出色，而螺旋邻居采样对于利用拓扑结构至关重要。本文巧妙地将螺旋采样集成到Transformer架构中，增强了其利用网格拓扑结构的能力，从而在手部网格重建中实现了显著的精度提升。STMR采用单个图像编码器以提高模型效率。为了增强其信息提取能力，我们设计了多尺度姿势特征提取(MSPFE)模块，有助于提取丰富的姿势特征，最终提高了模型的性能。此外，所提出的预定义姿势到顶点提升(PPVL)方法改进了顶点特征表示，进一步提高了重建性能。在FreiHAND数据集上进行的大量实验表明，与类似骨干方法相比，STMR展示了卓越的性能和无与伦比的推理速度，展示了其效率和有效性。代码可在https://github.com/SmallXieGithub/STMR上获得。

STMR论文旨在提高手部网格重建的准确性和效率，通过将螺旋采样技术与Transformer架构相结合来优化模型性能。

论文提出了一种新的手部网格重建模型STMR，它将螺旋采样技术和Transformer架构相结合，利用网格拓扑结构提高模型性能。同时，论文还提出了MSPFE模块和PPVL方法来增强模型的信息提取能力和顶点特征表示。

论文在FreiHAND数据集上进行了广泛的实验，证明了STMR的卓越性能和无与伦比的推理速度。此外，作者还提供了开源代码，方便其他研究者进行复现和改进。

在手部网格重建领域，其他相关研究包括DeepHandMesh、MANO、HGraph、HANDS19等。