Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud

最近在点云领域中，自监督学习的进展表现出了显著的潜力。然而，这些方法往往存在缺点，包括漫长的预训练时间、需要在输入空间中进行重构或需要额外的模态。为了解决这些问题，我们介绍了Point-JEPA，这是一种专门为点云数据设计的联合嵌入预测架构。为此，我们引入了一个顺序器，它可以对点云令牌进行排序，以便在目标和上下文选择期间高效地计算和利用令牌的接近性。顺序器还允许在上下文和目标选择之间共享令牌接近性的计算，进一步提高了效率。在实验中，我们的方法在避免在输入空间中进行重构或使用额外模态的同时，实现了与最先进方法相竞争的结果。

论文提出了一种针对点云数据的联合嵌入预测架构，以解决自监督学习中存在的一些问题。

论文提出了一种点云数据的序列化方法，利用点云标记的顺序来计算和利用标记之间的接近性，从而提高效率和减少必要的重构和额外模态。

论文的实验结果表明，该方法在避免重构和额外模态的情况下，能够取得与现有最先进方法相当的结果。论文还提供了开源代码和使用的数据集，为后续研究提供了参考。

最近的相关研究包括：Self-Supervised Learning with Geometric Constraints in Monocular Video: Connecting Flow, Depth, and Camera，Unsupervised Learning of Object Keypoints for Perception and Control，和Deep Reinforcement Learning for Pushing and Grasping: A Hybrid of Sample-Based and Model-Based Approaches。