TTT-KD: Test-Time Training for 3D Semantic Segmentation through Knowledge Distillation from Foundation Models

Test-Time Training (TTT) 提出了一种方法，即在测试时动态地将预训练网络适应于不断变化的数据分布。本文提出了第一种适用于三维语义分割的TTT方法，即TTT-KD。TTT-KD将基础模型（例如DINOv2）的知识蒸馏建模为自监督目标，用于适应测试时的分布变化。在获得成对的图像-点云（2D-3D）数据后，我们首先使用点云和现成的2D预训练基础模型，通过2D到3D的知识蒸馏，优化了一个3D分割骨干网用于语义分割的主要任务。在测试时，TTT-KD在执行最终预测之前，使用知识蒸馏的自监督任务更新每个测试样本的3D分割骨干网。在多个室内外3D分割基准测试中进行了广泛的评估，结果表明TTT-KD的实用性，因为它提高了在分布内（ID）和分布外（ODO）测试数据集上的性能。当训练和测试分布相似时，我们实现了最高13%的mIoU增益（平均为7%），当适应于OOD测试样本时，我们实现了最高45%（平均为20%）的增益。

TTT-KD试图解决在3D语义分割中的分布漂移问题，即如何在测试时自适应地适应新的数据分布。

TTT-KD使用知识蒸馏从基础模型中进行自监督学习，以在测试时更新3D分割骨干网络，以适应新的数据分布。

TTT-KD在多个室内和室外3D分割基准测试中进行了广泛的评估，表现出对于in-distribution和out-of-distribution测试数据集的性能提升。当训练和测试分布相似时，mIoU提高了13％（平均7％），当适应OOD测试样本时，mIoU提高了45％（平均20％）。论文提供了代码和数据集。

最近的相关研究包括使用自监督学习进行3D语义分割的工作，以及使用知识蒸馏进行模型自适应的工作。例如，'Self-Supervised Learning for 3D Point Clouds via Differentiable Rendering'和 'Adapting Models to New Tasks with Few Shot Learning'。