Double-Layer Soft Data Fusion for Indoor Robot WiFi-Visual Localization

本文提出了一种新颖的WiFi-视觉数据融合方法，用于室内机器人（TIAGO++）定位。该方法可以使用10个WiFi样本和4个低分辨率图像（每个图像$58\times58$像素）来定位室内机器人，平均误差距离约为1.32米。实验测试是在数据收集后的3个月内在一般教学楼中进行的，该楼的WiFi和视觉环境部分发生了变化。这间接显示了所提出方法的鲁棒性。 本文不是关注神经网络设计，而是专注于软数据融合，以防止视觉定位中出现无界误差。提出了一个双层软数据融合方法。所提出的软数据融合包括第一层WiFi-视觉特征融合和第二层决策向量融合。首先，受神经网络在图像处理和识别方面的优异能力的启发，从WiFi数据中提取时间-空间特征，并以图像形式表示。其次，将以图像形式表示的WiFi时间-空间特征和机器人相机获取的视觉特征相结合，由分类神经网络共同利用，产生WiFi-视觉定位的似然向量。这称为第一层WiFi-视觉融合。同样地，这两种特征可以分别被神经网络利用，产生另外两个独立的似然向量。第三，通过Hadamard乘积和中值滤波将这三个似然向量融合，产生最终的定位似然向量。这称为第二层决策向量融合。所提出的软数据融合在融合过程中不应用任何阈值或优先考虑任何数据源。它永远不会排除低概率位置，从而避免了由于硬决策而导致的信息丢失。提供了演示视频，代码将会开源。

本文旨在提出一种新的WiFi-视觉数据融合方法，用于室内机器人（TIAGO++）的定位。该方法可以使用10个WiFi样本和4个低分辨率图像（58x58像素）来定位室内机器人，平均误差距离约为1.32米。实验测试在数据收集后的3个月内进行，在一个教学楼内进行，其WiFi和视觉环境部分发生了变化。这间接展示了所提出方法的鲁棒性。

本文提出了一种双层软数据融合方法，以防止视觉定位中出现无界误差。首先，从WiFi数据中提取时间空间特征，并将其表示为图像形式。其次，将WiFi时间空间特征与机器人摄像头拍摄的视觉特征相结合，并由分类神经网络共同利用以产生WiFi-视觉定位的似然向量。这被称为第一层WiFi-视觉融合。类似地，这两种类型的特征可以分别被神经网络利用以产生另外两个独立的似然向量。第三，三个似然向量通过Hadamard乘积和中值滤波进行融合，以产生用于定位的最终似然向量。这被称为第二层决策向量融合。所提出的软数据融合在融合过程中不应用任何阈值或优先考虑任何数据源。它永远不会排除低概率位置，这可以避免由于硬决策而导致的信息丢失。

本文的亮点包括：使用了双层软数据融合方法，避免了硬决策导致的信息丢失；提出了从WiFi数据中提取时间空间特征并将其表示为图像形式的方法；实验表明，该方法在室内机器人定位方面表现良好，且具有鲁棒性；提供了演示视频，并将代码开源。

在这个领域中的相关研究包括：基于深度学习的室内机器人定位方法，基于视觉和惯性传感器的室内机器人定位方法，基于WiFi信号和地磁场的室内机器人定位方法等。