VADER: Visual Affordance Detection and Error Recovery for Multi Robot Human Collaboration

我们提出了VADER，这是一个计划、执行、检测框架，具备寻求帮助作为新技能，使得机器人能够在人类或其他机器人的帮助下恢复和完成长期任务。VADER利用视觉问答（VQA）模块来检测视觉能力并识别执行错误。然后，它为语言模型规划器（LMP）生成提示，LMP决定何时向另一个机器人或人类寻求帮助，以从长期任务执行中恢复。我们展示了VADER在两个长期机器人任务中的有效性。我们的试点研究表明，VADER能够通过向另一个机器人寻求帮助来完成复杂的长期任务，例如清理桌子。我们的用户研究表明，VADER能够通过向人类寻求帮助来完成复杂的长期任务，例如清理路径。我们收集了19名人员对VADER和没有寻求帮助的机器人表现的反馈。

VADER框架旨在解决机器人在长期任务中由于基本技能失误和动态环境而中断的问题，提出了一种新的技能：寻求帮助。

VADER框架利用视觉问答模块检测视觉可行性和识别执行错误，然后生成提示给语言模型规划器，决定何时从其他机器人或人类那里寻求帮助，以恢复长期任务的执行。

论文通过两个长期机器人任务展示了VADER的有效性。研究人员进行了两项实验，一个是让机器人寻求另一个机器人的帮助来清理桌子，另一个是让机器人寻求人类的帮助来清理道路。研究人员还收集了19个人的反馈意见，比较了VADER的表现和没有寻求帮助的机器人。

最近的相关研究包括基于机器学习的机器人任务规划和执行，以及利用视觉问答技术的机器人任务执行。