ThinkGrasp: A Vision-Language System for Strategic Part Grasping in Clutter

机器人在杂乱环境中的抓取仍然是一个重大挑战，因为存在遮挡和复杂的物体排列。我们开发了ThinkGrasp，这是一个即插即用的视觉语言抓取系统，利用GPT-40的高级语境推理来实现重度杂乱环境下的抓取策略。ThinkGrasp可以有效地识别和生成目标物体的抓取姿势，即使它们被严重遮挡或几乎看不见，也可以使用目标导向语言来引导清除遮挡物。这种方法逐步发现目标物体，并最终在几个步骤和高成功率下抓住它。在模拟和实际实验中，ThinkGrasp实现了高成功率，并在重度杂乱环境或不同的未知物体中明显优于最先进的方法，展示了强大的泛化能力。

解决问题：论文旨在解决在杂乱环境中进行机器人抓取的问题，包括遮挡和复杂物体排列等挑战。

关键思路：论文提出了一种名为ThinkGrasp的插拔式视觉语言抓取系统，利用GPT-4o的上下文推理能力，通过目标导向语言来指导去除遮挡物体，逐步发现目标物体，并最终以少数步骤和高成功率抓取目标物体。

其他亮点：ThinkGrasp在模拟和实际实验中均取得了高成功率，并且在重度杂乱环境或多样化未见过物体方面显著优于现有方法，具有强大的泛化能力。论文开源了代码，并使用了多个公开数据集。

相关研究：在这个领域中，最近的相关研究包括《GraspNet: A Large-Scale Benchmark for Object Grasping in Clutter》、《Dex-Net 4.0: Learning to Plan Robust Grasps with Deep Reinforcement Learning and Contact-rich Representations》等。