3D-COCO: extension of MS-COCO dataset for image detection and 3D reconstruction modules

我们介绍了3D-COCO，这是原始MS-COCO数据集的扩展，提供了3D模型和2D-3D对齐注释。3D-COCO旨在实现计算机视觉任务，如可配置文本、2D图像和3D CAD模型查询的3D重建或图像检测。我们使用ShapeNet和Objaverse收集了28K个3D模型，以完善现有的MS-COCO数据集。通过使用基于IoU的方法，我们将每个MS-COCO注释与最佳3D模型匹配，以提供2D-3D对齐。3D-COCO的开源性质是一个首创，应该为关于3D相关主题的新研究铺平道路。该数据集及其源代码可在https://kalisteo.cea.fr/index.php/coco3d-object-detection-and-reconstruction/上获取。

论文试图通过扩展MS-COCO数据集，提供3D模型和2D-3D对齐注释，以解决计算机视觉领域中的3D重建和图像检测任务。

通过收集ShapeNet和Objaverse中的28K个3D模型，并使用IoU方法将其与MS-COCO数据集中的注释进行匹配，提供2D-3D对齐，从而扩展MS-COCO数据集，使其可以用于3D相关的计算机视觉任务。

论文提供了一个开源的数据集和源代码，为3D相关的研究提供了一个新的资源。实验结果表明，使用3D-COCO数据集可以提高计算机视觉任务的准确性。

在最近的研究中，也有一些关于3D数据集扩展的工作，比如ScanNet和SUN RGB-D等。