Leveraging YOLO-World and GPT-4V LMMs for Zero-Shot Person Detection and Action Recognition in Drone Imagery

在本文中，我们探讨了零样本大型多模态模型（LMMs）在无人机感知领域的潜力。我们专注于人员检测和动作识别任务，并使用从空中视图捕获的公开可用数据集评估了两个著名的LMM，即YOLO-World和GPT-4V（ision）。传统的深度学习方法严重依赖于大型高质量的训练数据集。然而，在某些机器人设置中，获取这样的数据集可能是资源密集型的，或者在合理的时间范围内是不可行的。基于提示的大型多模态模型（LMMs）的灵活性和其出色的泛化能力有潜力在这些情况下彻底改变机器人应用。我们的研究发现，YOLO-World表现出良好的检测性能。GPT-4V在准确分类动作类别方面存在困难，但在过滤掉不需要的区域提议和提供场景的一般描述方面取得了有希望的结果。这项研究代表了利用LMMs进行无人机感知的初步步骤，并为未来在这个领域的研究奠定了基础。

本文旨在探讨使用零样本大型多模态模型（LMM）在无人机感知领域中的潜力，特别是在人员检测和动作识别任务方面。传统的深度学习方法依赖于大型高质量的训练数据集，但在某些机器人设置中，获取这样的数据集可能会耗费大量资源或在合理时间内不切实际。因此，本文试图通过使用LMM来解决这个问题。

本文使用两种著名的LMM，即YOLO-World和GPT-4V(ision)，以公开可用的从空中视角捕获的数据集为基础，评估其在人员检测和动作识别任务中的性能表现。本文的关键思路是利用LMM的灵活性和卓越的泛化能力来解决机器人领域中数据集获取的困难问题。

本文发现YOLO-World在检测性能方面表现良好，而GPT-4V在准确分类动作类别方面存在困难，但在过滤不需要的区域提案和提供场景的总体描述方面表现出有希望的结果。本文为利用LMM进行无人机感知建立了基础，并为未来在这个领域的进一步研究奠定了基础。

在这个领域中，最近的相关研究包括使用深度学习方法进行无人机目标检测和跟踪，以及使用LMM进行自动驾驶和机器人导航等任务。例如，《Deep Drone Acrobatics: Learning Agile Flight with Onboard Sensing》和《Learning to Navigate the City with a Multimodal Deep Neural Network》等。