GAgent: An Adaptive Rigid-Soft Gripping Agent with Vision Language Models for Complex Lighting Environments

本文介绍了GAgent：一种专为开放式环境设计的抓取机器人，通过VLM代理提供先进的认知能力，并具有可变刚度软抓手的灵活抓取能力。GAgent包括三个主要组件——提示工程师模块、视觉语言模型（VLM）核心和工作流模块。这三个模块通过识别物体和材料，并在具有挑战性的光照条件下准确估计抓握区域，提高了抓手成功率。作为创新的一部分，研究人员还创建了一种仿生混合软抓手，具有可变刚度，能够抓握重物，同时轻柔地接触物体。这种具有VLM基于认知处理和仿生设计的智能机器人显示出潜力，因为它有可能在各种场景下受益于无人机。

本文介绍了GAgent，一种专为开放式环境设计的抓取机器人，旨在通过VLM智能体和可变刚度软抓手提供先进的认知能力和灵活的抓握能力。

GAgent由三个主要组件组成：Prompt Engineer模块、Visual-Language Model（VLM）核心和Workflow模块。这三个模块通过识别物体和材料以及在挑战性光照条件下精确估计抓握区域来提高夹爪成功率。此外，研究人员还创造了一种具有可变刚度的仿生混合软抓手，能够轻松抓握重物同时还能轻柔地接触物体。

该智能机器人采用了基于VLM的认知处理和仿生设计，具有很大的潜力，可以在各种场景下为无人机带来好处。研究人员还使用了多个数据集进行实验，并开源了代码。

最近的相关研究包括：《基于深度强化学习的机器人抓取》、《视觉感知的机器人抓取技术综述》、《基于深度学习的机器人抓取方法研究》等。