SpectralWaste Dataset: Multimodal Data for Waste Sorting Automation

非可生物降解垃圾的增加是全球关注的焦点。回收设施发挥着至关重要的作用，但由于垃圾回收线路的复杂特性，如杂乱或物体变形，其自动化受到阻碍。此外，这些环境缺乏公开可用的标记数据，使得开发强大的感知系统具有挑战性。我们的工作探讨了在实际垃圾管理场景中使用多模态感知进行物体分割的好处。首先，我们提出了SpectralWaste，这是从运营的塑料垃圾分选设施中收集的第一个数据集，它提供了同步的高光谱和传统的RGB图像。该数据集包含了几类常见于分选厂的物体的标签，需要检测并从主垃圾流中分离出来，出于多种原因，如管理线路的安全性或重复使用。此外，我们提出了一种采用不同物体分割架构的管道，并在我们的数据集上评估了替代方案，对多模态和单模态的替代方案进行了广泛的分析。我们的评估特别关注效率和适用于实时处理，并演示了HSI如何在这些逼真的工业环境中为仅有RGB的感知带来提升，而不需要太多的计算开销。

本文试图解决废物分类处理中的物体分割问题，以及缺乏公开标记数据的挑战。同时，本文也探讨了多模态感知对于废物管理场景中物体分割的优势。

本文提出了一种多模态物体分割的方法，使用了同时获取的高光谱和RGB图像数据，并采用不同的物体分割架构进行实验比较，证明了高光谱图像可以提高物体分割的精度和效率。

本文提供了一个新的数据集SpectralWaste，这是第一个从实际塑料废物分类设施中收集的同时包含高光谱和RGB图像的数据集。本文还进行了广泛的实验分析，比较了多种物体分割架构的性能和适用性，并证明了高光谱图像对于物体分割的效果提升。此外，本文还关注了实时处理的效率问题。

近期的相关研究包括：'Real-time object detection and segmentation for waste sorting using convolutional neural networks'，'Automatic waste sorting system based on multi-sensor fusion and deep learning'等。