3D Human Scan With A Moving Event Camera

捕捉3D人体是计算机视觉中重要的任务之一，具有广泛的应用，如虚拟现实和运动分析。然而，传统的帧摄像机受其时间分辨率和动态范围的限制，在现实世界的应用设置中存在约束。事件相机具有高时间分辨率和高动态范围（HDR）的优点，但需要开发事件驱动的方法来处理具有不同特征的数据。本文提出了一种新颖的基于事件的方法，用于3D姿势估计和人体网格恢复。先前的事件驱动人体网格恢复工作需要帧（图像）以及事件数据。所提出的方法仅依赖于事件；通过将事件相机围绕静止的身体移动来雕刻3D体素，通过衰减的光线重建人体姿势和网格，并拟合统计身体模型，保留高频细节。实验结果表明，所提出的方法在姿势和身体网格的估计精度方面优于传统的基于帧的方法。我们还展示了在传统相机具有运动模糊的挑战性情况下的结果。这是首次展示仅使用事件进行人体网格恢复，并希望这是实现从视觉传感器进行强大而准确的3D人体扫描的第一步。

解决问题：论文提出了一种基于事件相机的人体扫描方法，旨在解决传统相机在人体扫描中存在的时间分辨率和动态范围限制的问题。

关键思路：论文提出的方法仅使用事件数据，通过在静止人体周围移动事件相机来刻画三维体素，重建人体姿势和网格，并拟合统计身体模型，保留高频细节，从而实现高精度的人体姿势和网格估计。

其他亮点：论文在实验中使用了多个数据集，并展示了在具有运动模糊的挑战性情况下的结果。该方法的性能表现出色，比传统基于帧的方法具有更高的精度。此外，该论文是首次展示了仅使用事件数据进行人体网格恢复的研究，为实现从视觉传感器进行稳健和精确的三维人体扫描迈出了第一步。

相关研究：近期在该领域的相关研究包括“Real-time 3D Reconstruction and 6-DoF Tracking with Event Cameras”、“Event-based 3D Reconstruction with Deep Priors”等。