3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera

使用单目视频进行3D手部跟踪是一个非常具有挑战性的问题，因为手部交互、遮挡、左右手歧义和快速运动。大多数现有方法依赖于RGB输入，这在低光条件下有严重限制，并且容易受到运动模糊的影响。相比之下，事件相机捕捉局部亮度变化而不是完整的图像帧，并且不受到上述影响的影响。不幸的是，由于数据模态存在显着差异，现有的基于图像的技术不能直接应用于事件。为了应对这些挑战，本文介绍了第一个从单个单目事件相机中跟踪两只快速移动和交互的手的3D框架。我们的方法通过一种新颖的半监督特征关注机制解决了左右手歧义，并集成了交点损失来修复手部碰撞。为了促进这一研究领域的进展，我们发布了一个新的合成大规模数据集，包含两只交互手的Ev2Hands-S，以及一个新的真实基准测试，包含真实事件流和地面真实3D注释的Ev2Hands-R。我们的方法在3D重建精度方面优于现有方法，并且在严重光照条件下可以推广到真实数据。

本篇论文的问题是如何利用单目事件相机进行双手的三维追踪，并解决双手交互、遮挡、左右手歧义和快速移动等问题。

本文提出了一种新的半监督特征关注机制，并引入交叉损失来解决双手碰撞问题。同时，为了促进研究，作者提供了一个新的合成数据集和一个真实的基准测试数据集。

本文的亮点包括：提出了一种新的方法来处理单目事件相机中的双手三维追踪问题；通过提供新的数据集，促进了该领域的研究；实验结果表明，该方法在三维重建精度方面优于现有方法，并且在恶劣光照条件下也能很好地推广。

与本文相关的其他研究包括：《Hand Pose Estimation from Local Surface Normals with Image-based Supervision》、《Real-time Hand Tracking under Occlusion from an Egocentric RGB-D Sensor》等。