3D Human Scan With A Moving Event Camera

捕捉3D人体是计算机视觉中重要的任务之一，具有广泛的应用，如虚拟现实和运动分析。然而，传统的帧相机受到时间分辨率和动态范围的限制，在现实世界的应用设置中存在约束。事件相机具有高时间分辨率和高动态范围（HDR）的优点，但需要开发基于事件的方法来处理具有不同特征的数据。本文提出了一种新的基于事件的方法，用于3D姿势估计和人体网格恢复。先前的基于事件的人体网格恢复工作需要帧（图像）和事件数据。所提出的方法仅依赖于事件；它通过移动事件相机来雕刻3D体素，通过衰减的光线重建人体姿势和网格，并适配统计身体模型，保留高频细节。实验结果表明，所提出的方法在姿势和身体网格的估计精度方面优于传统的基于帧的方法。我们还展示了在传统相机存在运动模糊的挑战性情况下的结果。这是首次演示仅基于事件的人体网格恢复，我们希望这是迈向实现从视觉传感器进行稳健准确的3D人体扫描的第一步。

本论文旨在解决使用传统帧相机在3D人体捕捉中存在的时间分辨率和动态范围限制的问题，提出了一种基于事件相机的方法来实现3D姿势估计和人体网格恢复。

该论文提出了一种完全基于事件数据的方法，通过移动事件相机来刻画3D体素，通过衰减射线来重建人体姿态和网格，并拟合统计身体模型，从而实现高精度的3D人体扫描。

该方法在姿态和身体网格的估计精度上优于传统基于帧的方法，具有更高的时间分辨率和动态范围。在实验中，该方法还展示了在传统相机存在运动模糊的挑战性情况下的应用。该论文的亮点包括实验设计、使用的数据集以及开源代码等。

在这个领域，最近的相关研究包括使用深度学习方法进行人体姿态估计以及使用事件相机进行3D姿态估计。相关论文包括“DeepPose: Human Pose Estimation via Deep Neural Networks”和“Event-based 3D Pose Estimation from Silhouette and Orientation Maps”。