Diffusion Model is a Good Pose Estimator from 3D RF-Vision

本文讨论了利用射频信号进行人体姿态估计的方法，其中毫米波雷达是一种有前途的射频传感器，可以通过处理射频信号提供雷达点云。然而，毫米波雷达的分辨率有限，噪声严重，导致人体姿态估计不准确，不一致。该研究提出了一种新的基于扩散的姿态估计器mmDiff，专门针对嘈杂的雷达数据。该方法旨在为扩散模型提供可靠的指导条件。mmDiff解决了两个关键问题：（1）人体不同部位的漏检，通过一个模块来分离不同身体部位的特征提取来解决；（2）由于环境干扰导致的信号不一致性，通过结合身体结构和运动的先验知识来解决。设计了几个模块来实现这些目标，其特征作为后续扩散模型的条件，消除了基于射频视觉的人体姿态估计的漏检和不稳定性。大量实验证明，mmDiff明显优于现有方法，在公共数据集上实现了最先进的性能。

论文旨在解决通过射频信号进行人体姿态估计时，由于射频雷达分辨率低、噪声大等问题导致的不准确和不一致的情况。

论文提出了一种基于扩散的姿态估计器mmDiff，针对噪声大、信号不一致等问题，通过设计多个模块提取特征，并将其作为扩散模型的条件，从而消除了人体部位的漏检和不稳定性。

论文通过实验表明，mmDiff在公共数据集上表现显著优于现有方法，具有实际应用价值。同时，论文还开源了代码，为后续研究提供了便利。

近期相关研究包括：1）Learning to Sense Human Pose and Shape from Synthetic Data: Progress and Challenges；2）Real-time 3D Human Pose Estimation with a Single RGB Camera: A New Methodology for RGB-based 3D Pose Estimation；3）A Survey on Human Pose Estimation with Deep Learning。