CloudFixer: Test-Time Adaptation for 3D Point Clouds via Diffusion-Guided Geometric Transformation

这段摘要讲述了由于各种障碍物（如遮挡、有限分辨率和尺度变化）导致的噪点，使得从真实世界传感器捕获的3D点云经常存在噪点。这些挑战阻碍了在干净的点云上训练的预训练点云识别模型的部署，导致性能显著降低。虽然测试时适应（TTA）策略在2D领域已经显示出有希望的结果，但它们在3D点云领域的应用还未被充分探索。在TTA方法中，已经在2D领域提出了一种输入适应方法，该方法直接使用预训练的扩散模型将测试实例转换为源域。尽管在实际情况下具有强大的TTA性能，但是由于忽略了点云的固有属性和计算成本过高，直接将其应用于3D领域可能是次优的。受到这些限制的启发，我们提出了CloudFixer，这是一种专为3D点云量身定制的测试时输入适应方法，采用预训练的扩散模型。具体而言，CloudFixer使用精心设计的目标函数优化几何变换参数，利用点云的几何属性。我们通过避免扩散模型的反向传播和禁止的生成过程，大大提高了计算效率。此外，我们提出了一种在线模型适应策略，通过将原始模型预测与适应输入的预测对齐。广泛的实验展示了CloudFixer在处理各种常见的破坏和不同真实场景下的自然分布转移方面的优越性。我们的代码可在https://github.com/shimazing/CloudFixer上获得。

论文旨在解决3D点云识别中噪声点的问题，提高预训练模型在实际应用中的性能。

论文提出了一种针对3D点云的测试时输入自适应方法CloudFixer，利用预训练扩散模型优化几何变换参数，并通过设计的目标函数利用点云的几何属性，从而提高模型的鲁棒性和性能。

论文通过实验展示了CloudFixer相比其他测试时自适应方法在处理常见的噪声和分布偏移时的优越性，并提出了在线模型自适应策略。论文代码已经开源。

最近的相关研究包括：1. PointCleanNet: Learning to Denoise and Remove Outliers from Dense Point Clouds; 2. Robust Point Cloud Segmentation Using Autoencoder-Based Noise Modeling; 3. Test-Time Adaptation for Object Detection via Meta-Learning.