Exosense: A Vision-Centric Scene Understanding System For Safe Exoskeleton Navigation

正在开发适用于行动不便人士的日常使用的外骨骼。它们需要准确而强大的场景理解系统。目前的研究使用视觉来识别即时地形和几何障碍物，但这些方法受限于用户正面直接检测的范围，并且仅限于对有限范围的地形类型进行分类（例如，楼梯、坡道和平地）。本文介绍了Exosense，这是一个以视觉为中心的场景理解系统，它能够生成丰富的、全局一致的高程图，融合了语义和地形可穿越性信息。它采用了弹性Atlas映射框架，与一个带有Vision-Language Model（VLM）的视觉SLAM姿态图相结合。该设备的设计包括一个广角鱼眼多摄像头系统，以减轻外骨骼步行模式带来的挑战。我们展示了该系统对典型周期步态挑战的强韧性，以及其在室内环境中构建准确的语义丰富地图的能力。此外，我们展示了它在运动规划方面的潜力，为外骨骼的安全导航迈出了一步。

Exosense: 一种用于场景理解的视觉系统，旨在为行动不便的人群开发日常使用的外骨骼提供精确和强大的场景理解。

Exosense使用视觉SLAM姿态图嵌入开放词汇的视觉语言模型（VLM），结合具有广阔视野的鱼眼多相机系统，构建了精确、全局一致的高程地图，包括语义和地形遍历信息。

论文展示了Exosense对典型周期步态的挑战的鲁棒性，以及在室内环境中构建准确的语义丰富地图的能力。实验使用了多相机系统和VLM，并展示了其在运动规划方面的潜力，为外骨骼的安全导航提供了一步。

在相关研究中，一些论文如“RoboChart: Unsupervised Floorplan Generation for Indoor Robot Navigation with Edge-to-edge Parsing”和“Semantic SLAM for Robotic Assistants in Smart Environments”也提出了类似的室内场景理解系统。