RT-Pose: A 4D Radar Tensor-based 3D Human Pose Estimation and Localization Benchmark

传统的人体定位和姿态估计（HPE）方法主要依赖于RGB图像作为输入模态，在现实世界的应用中由于隐私问题面临着重大的限制。相比之下，基于雷达的HPE方法成为一种有前途的替代方案，其特点是具有穿墙识别和隐私保护等独特属性，使得该方法更有利于实际部署。本文提出了一种基于雷达张量的人体姿态（RT-Pose）数据集和一个开源的基准测试框架。RT-Pose数据集包括4D雷达张量、LiDAR点云和RGB图像，共收集了240个序列、72k帧和六种不同复杂度水平的动作。4D雷达张量提供了原始的时空信息，使其与其他基于雷达点云的数据集有所区别。我们使用RGB图像和LiDAR点云开发了一个注释过程，以准确标记3D人体骨架。此外，我们提出了HRRadarPose，这是第一个能够在3D空间中提取4D雷达张量的高分辨率表示来辅助人体关键点估计的单级架构。HRRadarPose在RT-Pose基准测试中表现优于以前的基于雷达的HPE工作。在RT-Pose数据集上，HRRadarPose的整体表现，即平均每个关节位置误差（MPJPE）为9.91cm，表明在复杂的现实场景中实现准确的HPE仍然存在挑战。RT-Pose可在https://huggingface.co/datasets/uwipl/RT-Pose上获得。

本论文旨在通过雷达技术来进行人体姿态估计，以解决传统RGB图像在实际应用中存在的隐私问题和局限性。

本文提出了一种基于雷达张量的人体姿态估计数据集（RT-Pose），并开发了一个单级结构（HRRadarPose）来提取3D空间中4D雷达张量的高分辨率表示，以帮助人体关键点估计。

本文的亮点包括：1.提出了一种通过雷达技术进行人体姿态估计的新思路；2.开发了一个新的数据集RT-Pose，其中包括4D雷达张量、LiDAR点云和RGB图像；3.提出了单级结构HRRadarPose，用于从4D雷达张量中提取高分辨率表示；4.在RT-Pose数据集上进行了实验，取得了优于之前雷达技术研究的结果。

在相关研究方面，最近的一些研究包括：1.基于深度学习的RGB图像人体姿态估计；2.基于点云的人体姿态估计；3.基于雷达的人体检测和跟踪。