EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams

这篇论文探讨了单目自我中心三维人体动作捕捉这一具有挑战性且正在积极研究的问题。现有方法使用同步操作的视觉传感器（例如RGB相机），在低照明和快速运动下经常失败，这在许多涉及头戴设备的应用中具有限制性。针对现有限制，本文1）引入了一个新问题，即使用鱼眼镜头的自我中心单目事件相机进行3D人体动作捕捉，2）提出了第一个解决方案EventEgo3D（EE3D）。事件流具有高时间分辨率，并提供可靠的线索，可在高速人体运动和快速变化的照明下进行3D人体动作捕捉。所提出的EE3D框架专门为在LNES表示中使用事件流进行学习而设计，实现高3D重建精度。我们还设计了一款搭载事件相机的移动头戴设备原型，并记录了一个包含事件观测和地面真实3D人体姿势的实际数据集（除了合成数据集）。我们的EE3D在各种具有挑战性的实验中展现了稳健性和卓越的3D精度，同时支持实时3D姿势更新速率达到140Hz。

本文尝试解决的问题是从一个单目事件相机中捕捉三维人体动作的问题，这是一个新的问题。

本文提出了一个名为EventEgo3D（EE3D）的框架，通过使用事件流的LNS表示来学习，实现了高精度的三维人体重建。相比于现有的解决方案，EE3D表现出更好的鲁棒性和更高的三维重建精度。

本文设计了一个带有事件相机的移动头戴设备，并记录了一个真实数据集和一个合成数据集。实验结果表明，EE3D在多种挑战性实验中表现出鲁棒性和优越的三维重建精度，同时支持实时三维姿态更新速率高达140Hz。

最近的相关研究包括：1）使用RGB相机进行三维人体运动捕捉的方法；2）使用事件相机进行物体跟踪和重建的方法。