The Collection of a Human Robot Collaboration Dataset for Cooperative Assembly in Glovebox Environments

工业4.0将人工智能作为现代化制造过程的变革性解决方案引入。其继任者工业5.0则将人类视为协作者和专家，引导这些人工智能驱动的制造解决方案。开发这些技术需要算法能够安全、实时地识别场景中人类的位置，特别是他们的手，在协同组装过程中。尽管已经有大量的工作为手部分割筛选出了数据集，但大多数都集中在住宅或商业领域。现有的针对工业环境的数据集主要依赖于合成数据，我们证明这些数据并不能有效地转化为现实世界的操作。此外，这些数据集缺乏关键的不确定性评估，这对于安全协作至关重要。为了解决这些问题，我们提出了HAGS：手套分割数据集。该数据集提供了1200个具有挑战性的示例，可用于构建工业人机协作场景下的手部和手套分割应用程序，并通过绿幕增强构建超出分布图像，以确定ML分类器的鲁棒性。我们研究了最先进的实时分割模型，以评估现有方法。我们的数据集和基准公开可用：https://dataverse.tdl.org/dataset.xhtml?persistentId=doi:10.18738/T8/85R7KQ 和 https://github.com/UTNuclearRoboticsPublic/assembly_glovebox_dataset。

解决问题：本文旨在解决在工业人机协作场景中，实时识别人体姿态，特别是手部和手套分割的问题，并提供一个真实世界的数据集。

关键思路：本文提出了HAGS数据集，该数据集提供了1200个真实世界的例子，用于建立在工业人机协作场景中的手部和手套分割应用程序，并评估基于绿幕增强构建的越界图像的机器学习分类器的鲁棒性。

亮点：本文提供了一个新的真实世界的数据集，用于解决工业人机协作场景中的手部和手套分割问题。作者还评估了现有方法的实时分割模型，提供了基线结果，并公开了数据集和代码。

相关研究：最近的相关研究包括使用合成数据集的工业手部分割，但这些数据集缺乏真实世界的不确定性估计。