FruitNeRF: A Unified Neural Radiance Field based Fruit Counting Framework

我们介绍了FruitNeRF，这是一个统一的新型水果计数框架，利用最先进的视图合成方法直接在3D中计数任何水果类型。我们的框架接受单目相机拍摄的无序姿态图像集，并在每个图像中分割水果。为了使我们的系统独立于水果类型，我们采用基础模型为任何水果生成二进制分割掩模。利用RGB和语义两种模态，我们训练了一个语义神经辐射场。通过对隐式Fruit Field进行均匀体积采样，我们获得仅包含水果的点云。通过在提取的点云上应用级联聚类，我们的方法实现了精确的水果计数。与传统方法如物体跟踪或光流相比，使用神经辐射场提供了显着优势，因为计数本身被提升到3D。我们的方法防止水果被重复计数，并避免计数不相关的水果。我们使用真实世界和合成数据集评估了我们的方法。真实数据集包括三棵苹果树，手动计数地面实况，一个带有一排水果位置地面实况的基准苹果数据集，而合成数据集包括各种水果类型，包括苹果、李子、柠檬、梨、桃子和芒果。此外，我们比较了使用基础模型和U-Net进行水果计数的性能。

本篇论文旨在提出一种新的水果计数框架，通过利用最先进的视图合成方法，直接在3D中计数任何水果类型。同时，该框架可以独立于水果类型，利用基础模型生成任何水果的二进制分割掩模。

该论文的关键思路是利用神经辐射场，通过对隐式Fruit Field的均匀体积采样，获得仅包含水果的点云，并在提取的点云上应用级联聚类，从而实现精确的水果计数。

该论文的亮点包括使用神经辐射场提供的优势，避免重复计数水果和计数无关水果；在真实世界和合成数据集上进行了评估；使用基础模型进行水果计数的性能评估，与U-Net进行了比较。

在这个领域中，最近的相关研究包括：1. 'Fruit Detection and Counting in Orchards: Recent Advances and Challenges'；2. 'Fruit Counting and Segmentation Using Deep Learning: A Review'。