ME-CPT: Multi-Task Enhanced Cross-Temporal Point Transformer for Urban 3D Change Detection

机载激光扫描（ALS）系统采集的点云提供了城市地表覆盖的精确三维信息。通过利用多时相ALS点云，可以捕捉城市区域的语义变化，这在城市规划、应急管理以及基础设施维护方面展现出巨大的潜力。现有的三维变化检测方法在高效提取多类语义信息和变化特征方面存在困难，仍然面临以下挑战：（1）难以准确建模跨时相点云的空间关系以有效提取变化特征；（2）变化样本的类别不平衡问题，阻碍了语义特征的区分性；（3）缺乏用于三维语义变化检测的真实世界数据集。为了解决这些挑战，我们提出了多任务增强跨时相点变换器（ME-CPT）网络。ME-CPT建立了不同时间点云之间的时空对应关系，并采用注意力机制联合提取语义变化特征，促进信息交换和变化比较。此外，我们引入了语义分割任务，并通过多任务训练策略进一步增强了语义特征的区分性，减少了变化类型类别不平衡的影响。此外，我们发布了一个22.5平方公里的三维语义变化检测数据集，提供多样化的场景以进行全面评估。在多个数据集上的实验表明，所提出的ME-CPT相比现有最先进的方法表现出更优的性能。源代码和数据集将在论文被接受后发布于\url{https://github.com/zhangluqi0209/ME-CPT}。

论文试图解决利用多时相ALS点云数据进行3D语义变化检测时遇到的三个主要挑战：1) 准确建模跨时间点云的空间关系以有效提取变化特征；2) 变化样本的类别不平衡问题，影响语义特征的区分性；3) 缺乏用于3D语义变化检测的真实世界数据集。这些问题限制了现有3D变化检测方法在城市规划、应急管理及基础设施维护中的应用效果。

关键思路是提出了一种名为Multi-task Enhanced Cross-temporal Point Transformer (ME-CPT) 的网络模型。该模型通过建立不同时间点云之间的时空对应关系，并采用注意力机制联合提取语义变化特征，促进信息交换和变化比较。此外，通过引入语义分割任务并采用多任务训练策略，增强了语义特征的区分度，减轻了类别不平衡的影响。这一思路相比现有研究，在处理跨时间点云数据的复杂性和提高变化检测精度方面有显著创新。

其他亮点包括：1) 提供了一个覆盖22.5平方公里的3D语义变化检测数据集，包含多样化的场景，为全面评估提供了基础；2) 实验设计涵盖了多个数据集，验证了ME-CPT模型的优越性能；3) 源代码和数据集将在GitHub上公开发布，鼓励进一步的研究和应用。未来可以继续深入研究如何扩展模型到更大范围的应用场景，以及改进对更复杂变化类型的识别能力。

最近在这个领域中，相关的研究包括《PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space》, 《4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks》, 和《Temporal Point Cloud Transformers for Action Segmentation and Recognition》等。这些研究主要集中在提升点云数据的特征提取能力和处理动态变化的能力，而ME-CPT则特别针对多时相变化检测进行了优化。