Bi-VLA: Vision-Language-Action Model-Based System for Bimanual Robotic Dexterous Manipulations

这项研究介绍了Bi-VLA（视觉-语言-动作）模型，这是一个新型系统，旨在为双手机器人灵巧操作提供无缝的视觉、语言理解和物理动作集成。该系统的功能通过一系列家庭任务进行了评估，包括根据人类要求准备所需的沙拉。Bi-VLA展示了解释复杂人类指令、感知和理解食材的视觉背景以及执行精确的双手动作来组装所请求的沙拉的能力。通过一系列实验，我们评估了系统在准确性、效率和适应各种沙拉配方和人类偏好方面的表现。我们的结果表明，在用户请求的任务中，语言模块生成正确可执行代码的成功率为100％。视觉模块在检测特定成分方面的成功率为96.06％，在检测多个成分列表方面的成功率为83.4％。

介绍了一种名为Bi-VLA的系统，旨在解决双手机器人灵巧操作中的视觉、语言理解和物理动作的无缝集成问题。

Bi-VLA模型结合了视觉、语言和物理动作，成功地完成了制作沙拉等家务任务。

Bi-VLA系统在准确性、效率和适应性等方面表现出色，成功率高达100%。实验中使用的数据集和开源代码也值得关注。

最近在这个领域中还有一些相关的研究，例如《A Survey on Vision-Language Navigation》、《Vision-and-Language Navigation: Interpreting Visually-Grounded Navigation Instructions in Real Environments》等。