Multimodal Anomaly Detection based on Deep Auto-Encoder for Object Slip Perception of Mobile Manipulation Robots

目标滑动感知对于移动操纵机器人在动态的现实世界中可靠地执行操作任务至关重要。传统的机器臂滑动感知方法使用触觉或视觉传感器。然而，移动机器人仍然必须处理由于机器人在不断变化的环境中移动而引起的传感器信号噪声。为了解决这个问题，我们提出了一种异常检测方法，该方法利用基于深度自编码器模型的多传感器数据。所提出的框架集成了从各种机器人传感器收集的异构数据流，包括RGB和深度相机、麦克风和力矩传感器。集成数据用于训练深度自编码器以构建多传感器数据的潜在表示，指示正常状态。异常可以通过测量训练的编码器的潜在值与重构输入数据的潜在值之间的差异所测量的误差分数来识别。为了评估所提出的框架，我们进行了一个实验，模拟移动服务机器人在具有各种家庭物品和不同移动模式的现实世界环境中发生物体滑动的情况。实验结果验证了所提出的框架在各种物体类型和机器人行为以及环境中的视觉和听觉噪声下可靠地检测物体滑动情况的异常。

解决移动机器人在动态环境中进行物体操纵时传感器信号噪声问题，提高物体滑动感知的可靠性。

提出一种基于深度自编码器模型的多感知数据异常检测方法，将RGB和深度相机、麦克风、力矩传感器等多种传感器数据进行融合，训练深度自编码器构建正常状态的潜在表示，通过测量编码器潜在值与重构输入数据的差异来识别异常。

实验在真实环境中模拟了移动服务机器人进行物体滑动操作，验证了该方法在不同物体类型和机器人行为、环境噪声下的可靠性。论文还提供了开源代码和使用的数据集。

近期相关研究包括：《Tactile-based Slip Detection and Classification using Convolutional Neural Networks》、《Deep Reinforcement Learning for Slip Detection and Recovery of a Robotic Manipulator》等。