Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction

本文提出了 EvRGBHand，这是第一个利用事件相机和 RGB 相机互补的 3D 手部网格重建方法，用于解决常用彩色和深度传感器下手部网格重建的挑战，尤其是在光照变化和快速运动的情况下。事件相机具有高动态范围和密集时间分辨率的特性，是一种非常有前途的替代方案，但它缺乏手部网格重建所需的关键纹理外观。通过跨时间、空间和信息维度融合两种数据模态，EvRGBHand 可以解决 RGB 基础 HMR 中的过曝和运动模糊问题，以及事件基础 HMR 中前景稀缺和背景溢出问题。我们还提出了 EvRGBDegrader，使我们的模型能够在具有挑战性的场景中有效地泛化，即使仅在标准场景下进行训练，从而降低数据采集成本。在真实世界的数据实验中，EvRGBHand 可以通过保留两种相机的优点，有效地解决单独使用任一类型相机时的挑战，并展示了泛化到户外场景和另一种类型的事件相机的潜力。

本论文旨在解决使用常用的彩色和深度传感器进行可靠手部网格重建（HMR）时面临的挑战，特别是在光照变化和快速运动的情况下。

本论文提出了一种使用事件相机和RGB相机相互补偿的方法，称为EvRGBHand，用于三维手部网格重建。通过跨时间、空间和信息维度融合两种数据模态，EvRGBHand可以解决RGB HMR中的过曝和运动模糊问题，以及事件HMR中的前景稀缺和背景溢出问题。

本论文提出的方法在真实世界数据上进行了实验，并展示了保留两种相机优点的能力，具有潜在的推广到室外场景和另一种事件相机的可能性。此外，论文还提出了EvRGBDegrader，可以有效地推广模型在具有挑战性的场景中的应用，即使仅在标准场景下进行训练，从而降低数据采集成本。

最近在这个领域中，还有一些相关的研究，如《Real-time Hand Gesture Detection and Classification Using Convolutional Neural Networks》和《Hand Pose Estimation via Latent 2.5D Heatmap Regression》。