MetaFruit Meets Foundation Models: Leveraging a Comprehensive Multi-Fruit Dataset for Advancing Agricultural Foundation Models

水果采摘对行业来说是一个重要的劳动力和财务负担，突显了机器人采摘解决方案的先进性的关键需求。基于机器视觉的水果检测被认为是强健的水果识别的关键组成部分，以指导机器人操作。尽管在利用深度学习和机器学习技术进行水果检测方面取得了相当大的进展，但一个常见的缺陷是无法迅速将开发的模型扩展到不同的果园和/或各种水果品种。此外，相关数据的有限可用性进一步加剧了这些挑战。在本研究中，我们介绍了MetaFruit，这是最大的公开多类水果数据集，包括来自美国各个果园的4,248张图片和248,015个手动标记的实例。此外，本研究提出了一种创新的开放式水果检测系统，利用先进的视觉基础模型（VFMs）进行水果检测，可以在不同的果园条件下熟练识别各种水果类型。这个系统不仅展示了从少量数据中学习的显著适应性，还展示了解释人类指令进行微妙检测任务的能力。开发的基础模型的性能使用多种指标进行全面评估，在我们的MetaFruit数据集和其他开源水果数据集中均优于现有的最先进算法，从而在农业技术和机器人采摘领域设立了新的基准。MetaFruit数据集和检测框架是开源的，以促进未来基于视觉的水果采摘研究，标志着解决农业部门紧迫需求的重要步伐。

解决水果采摘的劳动力和财务负担问题，通过机器视觉技术实现水果的自动识别和机器采摘。同时，解决了模型无法在不同果园和水果品种之间迅速扩展的问题。

提出了MetaFruit数据集和基于Vision Foundation Models的开放式水果检测系统。通过少样本学习和解释人类指令的能力，实现了在不同果园和水果品种下的自适应学习和检测。

MetaFruit数据集包含4,248张图像和248,015个手动标记的实例，是目前最大的公开多类水果数据集。开放式水果检测系统在MetaFruit数据集和其他开源水果数据集上均表现出色，超过了现有的最先进算法。研究结果和开源代码有助于未来的农业技术和机器采摘研究。

最近的相关研究包括：'Deep Fruit Detection in Orchards'，'Real-Time Apple Detection in Realistic Orchard Environments'，'Fruit Detection and Localization in Orchard Using Deep Convolutional Neural Network'等。