DPO: Dual-Perturbation Optimization for Test-time Adaptation in 3D Object Detection

最近，基于LiDAR的三维物体检测取得了令人瞩目的进展。然而，在真实世界中部署训练好的三维检测器时，由于不同的天气条件、物体大小等测试数据分布与训练数据显著偏离，往往会导致不令人满意的性能。这种性能下降的一个关键因素是预训练模型的泛化能力减弱，从而在训练期间创建了一个尖锐的损失梯度。当在测试期间遇到这种尖锐梯度时，即使有轻微的数据变化，也会导致显著的性能下降。为了解决上述问题，我们提出了一种名为“双扰动优化（DPO）”的方法，用于“三维物体检测的测试时间自适应（TTA-3OD）”。我们通过最小化尖锐度来培养平坦的损失梯度，以确保模型对轻微数据变化具有弹性，从而增强自适应过程的泛化能力。为了充分捕捉测试点云的固有变异性，我们进一步引入对抗扰动到输入BEV特征中，以更好地模拟嘈杂的测试环境。由于双扰动策略依赖于可靠的监督信号，我们利用可靠的匈牙利匹配器来过滤对扰动敏感的伪标签。此外，我们引入早期匈牙利截止，以避免由于错误的伪标签而导致的错误累积，从而停止自适应过程。在三种类型的转移任务的广泛实验中，我们证明了所提出的DPO显著超越了之前最先进的方法，特别是在Waymo $\rightarrow$ KITTI上，$\text{AP}_\text{3D}$超过了最有竞争力的基线57.72\%，达到了完全监督的上限的91\%。

解决实际环境下LiDAR-based 3D object detection模型的泛化性能问题，提高在不同测试数据分布下的适应能力。

提出了一种双重扰动优化（DPO）的方法，通过最小化模型的锐度来培养平坦的损失曲面，提高模型对于数据变化的鲁棒性。同时，引入对抗扰动以更好地模拟嘈杂的测试环境，以全面捕捉测试点云的内在可变性。

实验结果表明，DPO方法在三种转移任务中均明显优于之前的最先进方法，特别是在Waymo到KITTI的任务中，将AP3D的性能提高了57.72％，达到了完全监督的上限的91％。同时，使用可靠的匈牙利匹配器来过滤对扰动敏感的伪标签，并引入早期匈牙利截止来避免错误伪标签的错误积累。

相关研究包括：1. PointRCNN; 2. Fast Point R-CNN; 3. Part-A2 net; 4. PV-RCNN; 5. STD; 6. F-ConvNet; 7. MMDetection3D等。