EgoSurgery-Tool: A Dataset of Surgical Tool and Hand Detection from Egocentric Open Surgery Videos

手术工具检测是理解自我中心开放式手术视频的基本任务。然而，由于手术工具具有高度不平衡的类分布、相似的形状和相似的纹理以及严重的遮挡，因此检测手术工具面临着重大挑战。缺乏全面的大规模数据集进一步加剧了这些挑战。本文介绍了EgoSurgery-Tool，这是现有EgoSurgery-Phase数据集的扩展，其中包含使用固定在外科医生头部的自我中心摄像机拍摄的真实开放手术视频以及阶段注释。EgoSurgery-Tool已经密集注释了手术工具，并跨越15个类别包含超过49K个手术工具边界框，构成了一个大规模的手术工具检测数据集。EgoSurgery-Tool还提供了手部检测的注释，包含超过46K个手部边界框，捕捉手与物体的相互作用，这对于理解自我中心开放手术中的活动至关重要。由于规模更大、手术工具种类更多、注释更多、场景更密集，EgoSurgery-Tool优于现有数据集。我们使用九种流行的目标检测器对EgoSurgery-Tool进行了全面分析，以评估它们在手术工具和手部检测中的有效性。该数据集将在https://github.com/Fujiry0/EgoSurgery上发布。

论文旨在解决手术工具检测的问题，针对手术工具的高度不平衡类分布、相似的形状和纹理以及严重的遮挡等问题，提出了一种基于EgoSurgery-Phase数据集扩展的大规模手术工具检测数据集EgoSurgery-Tool。

论文的关键思路是通过扩展EgoSurgery-Phase数据集，提出了一种大规模手术工具检测数据集EgoSurgery-Tool，并使用9种流行的目标检测器对其进行了全面分析。

EgoSurgery-Tool是一个大规模手术工具检测数据集，包含15个类别的超过49K个手术工具边界框和超过46K个手-物交互的手边界框注释。论文对EgoSurgery-Tool进行了全面分析，使用了9种流行的目标检测器进行了实验，并将数据集开源。EgoSurgery-Tool优于现有数据集，具有更大的规模、更多的注释和更密集的场景。

在相关研究方面，最近的研究包括：\n1. Surgical Tool Detection Using Convolutional Neural Networks Trained with a Generative Adversarial Network\n2. Real-time Detection of Surgical Instruments in Robot-assisted Surgery Videos Using Deep Neural Networks\n3. Automatic Detection of Surgical Tools in Robot-assisted Surgery using Faster R-CNN