3DRef: 3D Dataset and Benchmark for Reflection Detection in RGB and Lidar Data

反光表面对于机器人和自主系统中可靠的三维建图和感知一直是一个持久的挑战。然而，现有的反射数据集和基准仅限于稀疏的二维数据。本文介绍了第一个大规模的三维反射检测数据集，其中包含超过50,000个对齐的多回波激光雷达、RGB图像和2D/3D语义标签样本，覆盖了多种室内环境和各种反射。纹理化的三维真实地面网格使自动点云标注成为可能，提供了精确的基准标注。详细的基准测试评估了三种激光雷达点云分割方法以及当前最先进的图像分割网络，用于玻璃和镜子检测。所提出的数据集通过提供具有精确的全局对齐、多模态数据和多样化的反射物体和材料的综合测试平台，推进了反射检测的发展。它将推动未来研究朝着可靠的反射检测方向发展。该数据集可在http://3dref.github.io上公开获取。

如何在机器人和自主系统中可靠地进行三维映射和感知，特别是针对反射表面的挑战？

提出了第一个大规模的三维反射检测数据集，包括50,000多个对齐的多回波激光雷达、RGB图像和2D/3D语义标签样本，以及纹理3D地面真实网格，可用于自动点云标记，提供精确的地面真实注释。通过详细的基准测试，评估了三种激光雷达点云分割方法以及针对玻璃和镜子检测的当前最先进的图像分割网络。

该数据集具有全球对齐、多模态数据和多种反射物体和材料的特点，可以推动未来研究朝着可靠的反射检测方向发展。实验设计详细，数据集公开，可用于进一步研究。

与该研究相关的其他研究包括：1）使用深度学习进行反射检测的研究；2）使用激光雷达进行物体检测的研究；3）使用多模态数据进行场景理解的研究。