Just Add $100 More: Augmenting NeRF-based Pseudo-LiDAR Point Cloud for Resolving Class-imbalance Problem

典型的基于LiDAR的3D物体检测模型是通过真实世界数据采集进行监督式训练的，但往往存在类别不平衡（或长尾）问题。为了解决这个问题，通常会通过从数据库中采样真实LiDAR点并将其粘贴到感兴趣的场景中来增强少数类别的样本，但仍存在定位GT样本的灵活性和样本多样性有限等挑战。在本文中，我们提出了一种利用从捕捉小型或真实世界次要类别对象的全景视频生成的伪LiDAR点云（低成本）的方法。我们的方法称为伪地面真实样本增强（PGT-Aug），包括三个主要步骤：（i）使用2D-to-3D视图合成模型进行体积3D实例重建，（ii）通过LiDAR强度估计进行物体级域对齐，以及（iii）从地面和地图信息中进行混合上下文感知放置方法。我们通过在三个流行的基准测试中进行广泛实验来展示我们方法的优越性和普适性，即nuScenes、KITTI和Lyft，特别是对于不同LiDAR配置捕获的具有大域间隙的数据集。我们的代码和数据将在发表后公开发布。

如何处理长尾类别数据集在LiDAR 3D物体检测中的问题？

使用伪LiDAR点云进行数据增强，提高模型性能。

论文提出了一种名为PGT-Aug的方法，使用伪LiDAR点云进行数据增强，通过在三个流行的数据集上进行实验，证明了该方法的有效性和通用性。论文还开源了代码和数据集。

相关研究包括使用不同的数据增强方法来解决长尾类别问题，例如类别平衡、样本生成等。其中一些论文包括：《Focal Loss for Dense Object Detection》、《Learning Imbalanced Datasets with Label-Distribution-Aware Margin Loss》、《Data Augmentation for Imbalanced Datasets using Generative Adversarial Networks》等。