Mushroom Segmentation and 3D Pose Estimation from Point Clouds using Fully Convolutional Geometric Features and Implicit Pose Encoding

现代农业应用越来越依赖于深度学习解决方案。然而，训练表现良好的深度网络需要大量注释数据，这些数据可能无法获得，在 3D 注释的情况下，甚至可能无法由人类注释员完成。在这项工作中，我们开发了一种深度学习方法，用于在由深度传感器获取的点云形式的 3D 数据上分割蘑菇并估计它们的姿态。为了规避注释问题，我们创建了一个蘑菇场景的合成数据集，其中我们完全了解每个蘑菇的姿态等 3D 信息。所提出的网络具有完全卷积的主干，可以解析稀疏的 3D 数据，并预测姿态信息，隐含地定义了实例分割和姿态估计任务。我们已经验证了所提出的隐式方法在合成测试集上的有效性，并为一小组使用深度传感器获取的真实点云提供了定性结果。代码可在 https://github.com/georgeretsi/mushroom-pose 上公开获取。

本文旨在开发一种深度学习方法，用于在3D数据中分割蘑菇并估计它们的姿态，以解决目前在农业应用中缺乏标注数据的问题。

该方法通过创建合成数据集来解决标注数据不足的问题，使用全卷积网络对稀疏的3D数据进行解析，预测姿态信息，从而隐式地定义实例分割和姿态估计任务。

该方法在合成测试集上进行了验证，同时提供了一些真实获取的点云的定性结果。代码公开可用。

最近的相关研究包括：《基于深度学习的农业图像分析综述》、《利用深度学习进行农业作物病害检测的研究进展》等。