Designing A Sustainable Marine Debris Clean-up Framework without Human Labels

海洋垃圾对鸟类、鱼类和其他动物的生态造成了重大威胁。传统的垃圾积累评估方法需要耗费大量人力和成本进行手动调查。本研究引入了一种框架，利用由无人机捕捉的航空图像进行远程垃圾调查。利用计算机视觉技术，我们的方法检测、分类和绘制海洋垃圾分布图。该框架使用了Grounding DINO，这是一种基于变压器的零样本物体检测器，以及CLIP，这是一种用于零样本物体分类的视觉语言模型，使得可以基于材料类型检测和分类垃圾物品，而无需训练标签。为了减少由于同一物体的不同视角而导致的重复计数，我们采用了尺度不变特征变换（SIFT）进行局部物体特征的重复匹配。此外，我们还开发了一个用户友好的Web应用程序，以支持对无人机图像进行端到端分析，包括物体检测、分类和在地图上可视化，以支持清理工作。我们的方法在七个垃圾物品类别上实现了有竞争力的检测性能（0.69的平均IoU）和分类性能（0.74的F1分数），而无需标记数据，与最先进的监督方法相当。该框架有潜力简化自动垃圾采样调查，促进高效和可持续的社区主导的清理倡议。

本论文旨在通过利用无人机拍摄的航空图像进行远程垃圾调查，解决传统的人工调查方法费时费力的问题，以便更有效地清理海洋垃圾。

本论文提出了一种利用基于Transformer的零样本物体检测器Grounding DINO和零样本物体分类的视觉语言模型CLIP进行垃圾检测、分类和映射的框架，无需训练标签，同时使用尺度不变特征变换（SIFT）进行重复匹配，以减少重复计数。

本文的方法在七个垃圾物体类别上实现了有竞争力的检测（0.69平均IoU）和分类（0.74 F1分数）性能，无需标记数据，与最先进的监督方法相当。同时，本文还开发了一个用户友好的Web应用程序，以支持端到端的无人机图像分析，包括对象检测、分类和可视化。

在这个领域中，最近的相关研究包括基于深度学习的自动垃圾检测和分类方法，以及利用无人机进行垃圾调查的技术。例如，题为“基于深度学习的海洋垃圾自动检测方法”的论文和题为“利用无人机进行海洋垃圾监测和管理的挑战和机遇”的论文。