ProbRadarM3F: mmWave Radar based Human Skeletal Pose Estimation with Probability Map Guided Multi-Format Feature Fusion

毫米波（mmWave）雷达是一种非侵入式、相对方便和廉价的设备，已经证明在人体室内姿势估计任务中可以替代RGB相机。然而，mmWave雷达依赖于从目标反射的信号收集，而雷达信号包含的信息难以完全应用。这一直是姿势估计准确性提高的长期障碍。为了解决这个主要挑战，本文介绍了一种概率地图引导的多格式特征融合模型ProbRadarM3F。这是一种新的雷达特征提取框架，使用传统的FFT方法并行地与基于概率地图的位置编码方法结合。ProbRadarM3F融合了传统的热力图特征和位置特征，然后有效地实现了人体14个关键点的估计。在HuPR数据集上的实验评估证明了本文提出的模型的有效性，超过了在该数据集上进行实验的其他方法，AP为69.9%。我们研究的重点是集中在雷达信号中以前未开发的位置信息上。这为探索mmWave雷达中其他潜在的非冗余信息提供了方向。

本论文旨在解决使用mmWave雷达进行人体姿态估计时，信号中包含的信息难以充分应用的问题，提出了一种概率地图引导的多格式特征融合模型ProbRadarM3F。

ProbRadarM3F是一种新颖的雷达特征提取框架，将传统的FFT方法与基于概率地图的位置编码方法并行使用，融合传统的热力图特征和位置特征，从而有效地实现了人体14个关键点的估计。

论文在HuPR数据集上进行了实验评估，证明了该模型的有效性，优于其他在该数据集上进行实验的方法，AP为69.9％。此外，该论文还探索了从mmWave雷达中挖掘其他潜在的非冗余信息的方向。

在该领域的相关研究包括：1）基于深度学习的人体姿态估计方法；2）使用RGB相机进行人体姿态估计的方法；3）使用mmWave雷达进行人体姿态估计的方法。