Multimodal 3D Object Detection on Unseen Domains

自动驾驶LiDAR数据集在点云密度、范围和物体尺寸等属性上存在偏差。因此，在不同环境中训练和评估的物体检测网络通常会出现性能下降的情况。域自适应方法假定可以访问测试分布中的未注释样本来解决此问题。然而，在现实世界中，部署的确切条件和访问代表测试数据集的样本可能不可用于训练。我们认为，更现实和具有挑战性的制定方式是要求对未见目标域的性能具有鲁棒性。我们提出以两种方式解决这个问题。首先，我们利用大多数自动驾驶数据集中存在的配对的LiDAR图像数据执行多模态物体检测。我们建议通过利用图像和LiDAR点云的多模态特征来进行场景理解任务，从而产生更具有鲁棒性的物体检测器，可以应对未见领域的偏移。其次，我们训练一个3D物体检测器，以学习跨不同分布的多模态物体特征，并促进这些源域之间的特征不变性，以提高对未见目标域的泛化能力。为此，我们提出了CLIX$^\text{3D}$，这是一个多模态融合和监督对比学习框架，用于3D物体检测，可以对来自不同域的相同类别样本的物体特征进行对齐，同时将来自不同类别的特征分开。我们证明CLIX$^\text{3D}$在多个数据集偏移下具有最先进的域泛化性能。

如何提高自动驾驶中的目标检测网络在不同环境下的鲁棒性？

利用多模态数据和对比学习相结合的方法，训练出更具鲁棒性的三维目标检测网络

论文提出了CLIX$^ ext{3D}$框架，结合了多模态数据和对比学习，实现了三维目标检测网络在不同数据集上的泛化性能，取得了最新的研究成果。实验使用了多个数据集，并开源了代码。

与该论文相关的研究包括：'Domain Adaptive Faster R-CNN for Object Detection in the Wild'、'Adversarial Domain Adaptation for Semantic Segmentation'等。