过去几年，在自动驾驶和 VR 等应用的推动下，使用 2D 和 3D 传感器（如 RGB 传感器、LiDARs 或雷达）进行人体姿态估计取得了很大进展。但是，这些传感器在技术上和实际使用中都存在一些限制。首先成本高，普通家庭或小企业往往承担不起 LiDAR 和雷达传感器的费用。其次，这些传感器对于日常和家用而言太过耗电。
至于 RGB 相机，狭窄的视野和恶劣的照明条件会对基于相机的方法造成严重影响。遮挡成为阻碍基于相机的模型在图像中生成合理姿态预测的另一个障碍。室内场景尤其难搞，家具通常会挡住人。更重要的是，隐私问题阻碍了在非公共场所使用这些技术，很多人不愿意在家中安装摄像头记录自己的行为。但在医疗领域，出于安全、健康等原因，很多老年人有时不得不在摄像头和其他传感器的帮助下进行实时监控。
近日，CMU 的三位研究者在论文《DensePose From WiFi》中提出，在某些情况下，WiFi 信号可以作为 RGB 图像的替代来进行人体感知。照明和遮挡对用于室内监控的 WiFi 解决方案影响不大。WiFi 信号有助于保护个人隐私，所需的相关设备也能以合理的价格买到。关键的一点是，很多家庭都安装了 WiFi，因此这项技术有可能扩展到监控老年人的健康状况或者识别家中的可疑行为。
论文地址：https://arxiv.org/pdf/2301.00250.pdf
研究者想要解决的问题如下图 1 第一行所示。给定 3 个 WiFi 发射器和 3 个对应的接收器，能否在多人的杂乱环境中检测和复原密集人体姿态对应关系（图 1 第四行）？需要注意的是，很多 WiFi 路由器（如 TP-Link AC1750）都有 3 根天线，因此本文方法中只需要 2 个这样的路由器。每个路由器的价格大约是 30 美元，意味着整个设置依然比 LiDAR 和雷达系统便宜得多。
为了实现如图 1 第四行的效果，研究者从计算机视觉的深度学习架构中获得灵感，提出了一种可以基于 WiFi 执行密集姿态估计的神经网络架构，并实现了在有遮挡和多人的场景中仅利用 WiFi 信号来估计密集姿态。
下图左为基于图像的 DensePose，图右为基于 WiFi 的 DensePose。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢