ManiPose: A Comprehensive Benchmark for Pose-aware Object Manipulation in Robotics

日常场景中的机器人操作，特别是在非结构化环境中，需要具备姿态感知的物体操作技能（POM），这种技能可以根据物体的6D姿态来调整机器人的抓取和处理方式。识别物体的位置和方向对于有效的操作至关重要。例如，如果一个杯子侧躺着，抓取杯沿比抓取手柄更有效。尽管这种技能很重要，但是POM技能的研究仍然有限，因为学习操作技能需要具备姿态变化的模拟环境和数据集。本文介绍了ManiPose，这是一个开创性的基准，旨在推动姿态变化的操作任务的研究。ManiPose包括：1）POM特征任务的模拟环境，范围从单个物体的6D姿态特定的拾放到杂乱场景，还包括与关节物体的交互。2）一个全面的数据集，其中包含2936个真实世界扫描的刚性物体和59个类别的100个关节物体，具有几何一致和操作导向的6D姿态标签。3）POM的基准，利用LLM（例如ChatGPT）的推理能力来分析6D姿态和任务特定要求之间的关系，提供增强的姿态感知抓取预测和运动规划能力。我们的基准展示了姿态估计、姿态感知操作和真实机器人技能转移方面的显著进展，为POM研究设定了新的标准。我们将在最终版本的论文中开源ManiPose基准，并邀请社区使用我们的资源，可在我们的网站上获得：https://sites.google.com/view/manipose。

本文旨在推动姿态变化的机器人操作任务的研究，提出了ManiPose基准测试，旨在解决学习机器人操作技能需要姿态变化的模拟环境和数据集的问题。

ManiPose基准测试包括模拟环境和数据集，提供了基于6D姿态的物体抓取和操作任务，以及涉及关节物体的交互。同时，利用LLM的推理能力，提供了增强的姿态感知抓取预测和运动规划能力。

ManiPose基准测试提供了一种新的方法来研究姿态变化的机器人操作任务，包括模拟环境和数据集，以及基于LLM的基线。数据集包含2936个真实世界扫描的刚体物体和100个关节物体，涵盖59个类别。实验结果表明，ManiPose基准测试在姿态估计、姿态感知操作和真实机器人技能转移方面取得了显著进展。

在相关研究方面，最近的研究包括《PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation》和《Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation》。