Mapping the Unseen: Unified Promptable Panoptic Mapping with Dynamic Labeling using Foundation Models

在机器人和计算机视觉领域，高效准确的语义映射仍然是一个重大挑战，因为需要智能机器能够理解和与复杂环境交互。然而，传统的全景映射方法受到预定义语义类别的限制，因此对于处理新颖或未预见的对象效果不佳。为了解决这一限制，我们引入了统一可提示的全景映射（UPPM）方法。UPPM利用最近基础模型的进展，通过自然语言提示实现实时按需标签生成。通过将动态标签策略纳入传统的全景映射技术，UPPM在维持高地图重建性能水平的同时，提供了显著的适应性和通用性改进。我们在真实世界和模拟数据集上演示了我们的方法。结果表明，UPPM可以通过自然语言交互准确重建场景并分割对象，同时生成丰富的语义标签。一系列消融实验验证了基础模型标签相对于固定标签集的优势。

论文提出了Unified Promptable Panoptic Mapping (UPPM)方法，旨在解决传统panoptic mapping方法在处理新颖或未知对象时的局限性。

UPPM方法利用基础模型的最新进展，通过自然语言提示实现实时、按需标签生成，将动态标注策略纳入传统的panoptic mapping技术中，提高了适应性和通用性，同时保持了高水平的地图重建性能。

论文在真实世界和模拟数据集上展示了UPPM方法的有效性，可以通过自然语言交互准确重建场景和分割对象，同时生成丰富的语义标签。实验结果表明，基于基础模型的标注方法比固定标签集更具优势。

最近的相关研究包括：1）Panoptic-DeepLab: A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation；2）On-Demand Semantic Segmentation using Deep Reinforcement Learning；3）SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks。