RoboFiSense: Attention-Based Robotic Arm Activity Recognition with WiFi Sensing

尽管目前对自主机器人系统的兴趣激增，但在有限的室内环境中识别机器人活动仍然是一个巨大的挑战。传统的检测和识别机械臂活动的方法通常依赖于基于视觉或光探测与测距（LiDAR）传感器，这些传感器需要直线视野（LoS）访问，并可能引起隐私问题，例如在护理设施中。本研究首创了一种创新方法，利用受机械臂活动微妙影响的WiFi信号测量的信道状态信息（CSI）来识别机械臂的活动。我们开发了一个基于注意力机制的网络，用于分类Franka Emika机械臂在不同情况下执行的八种不同活动。我们提出的双向视觉变换器连接（BiVTC）方法旨在准确预测机械臂的活动，即使在训练速度不同的活动时，也无需依赖外部或内部传感器或视觉辅助。考虑到CSI数据对环境的高度依赖性，我们有动力研究嗅探器位置选择的问题，通过系统地改变嗅探器的位置并收集不同的数据集。最后，本文还标志着八种不同机械臂活动的CSI数据的首次出版，统称为RoboFiSense。这一举措旨在为研究社区提供基准数据集和基线，促进机器人感知领域的进步。

本论文旨在解决室内环境中机器人活动识别的问题。传统方法需要视线或激光雷达传感器，存在隐私问题。本论文提出利用WiFi信号的通道状态信息（CSI）来识别机器人臂的活动。

本论文提出了一种基于注意力机制的网络，能够准确地分类机器人臂在不同情况下执行的八种不同活动。所提出的方法不依赖于外部或内部传感器或视觉辅助。

本论文的亮点包括提出了一种新颖的利用WiFi信号的通道状态信息（CSI）来识别机器人臂的活动的方法，并且提出了一个基于双向视觉变换器连接的（BiVTC）的方法来预测机器人臂的活动。同时，本论文还提供了一个名为RoboFiSense的数据集，旨在为研究人员提供基准数据集和基线。

最近的相关研究包括使用深度学习和传感器数据进行机器人活动识别的研究，如《Using Deep Learning for Human Robot Interaction to Improve Industrial Safety》。