Visual-tactile manipulation to collect household waste in outdoor

本文介绍了一种应用于机器人操作的感知系统，能够在户外环境中协助导航、家庭垃圾分类和收集。该系统由光学触觉传感器、RGBD相机和LiDAR组成。这些传感器与机器人操作器和机器人夹具集成在移动平台上。我们的系统分为三个软件模块，其中两个是基于视觉的，最后一个是基于触觉的。基于视觉的模块使用CNN来定位和识别固体家庭垃圾，以及估计抓握点。基于触觉的模块也使用CNN和图像处理，通过触摸数据调整夹具开口度以控制抓握。我们的提案实现了约6％的定位误差，98％的识别准确率，并确保91％的尝试中抓握稳定性。三个模块的运行时间总和小于750毫秒。

这篇论文的问题是如何在户外环境中，通过视觉和触觉传感器帮助机器人进行垃圾分类和收集。

论文提出了一个基于视觉和触觉传感器的机器人感知系统，用于户外垃圾分类和收集。该系统包括三个软件模块，其中两个是基于卷积神经网络的视觉模块，用于识别和定位固体垃圾，另一个是基于触觉的模块，用于根据触觉数据调整机械手的抓取位置。该系统的关键思路是将多种传感器整合在一个移动平台上，并使用卷积神经网络来处理和分析数据。

该系统实现了定位误差约为6％，识别精度达到98％，并确保91％的抓取稳定性。三个模块的运行时间总和小于750毫秒。该论文的实验使用了自己采集的数据集，并提供了开源代码。

最近在这个领域中，还有一些相关的研究，如：'Robotic Waste Sorting Using Deep Reinforcement Learning', 'A Robotic System for Autonomous Collection and Sorting of Recyclable Waste'等。