Segment Anything for comprehensive analysis of grapevine cluster architecture and berry properties

葡萄串架构和紧密度是影响疾病易感性、果实质量和产量的复杂特征。评估这些特征的方法包括视觉评分、手动方法和计算机视觉，其中后者是最可扩展的方法。目前，大多数用于处理串图像的计算机视觉方法通常依赖于传统的分割或机器学习，需要广泛的训练和有限的泛化。基于大量图像数据集训练的新型基础模型“Segment Anything Model”（SAM）使得自动化物体分割成为可能。本研究展示了SAM在2D串图像中识别单个浆果的高准确性。使用该模型，我们成功分割了大约3,500个串图像，生成了超过150,000个浆果掩膜，每个掩膜都与其串内的空间坐标相连。人工识别的浆果数量和SAM预测之间的相关性非常强（Pearson r2=0.96）。虽然图像中可见的浆果数量通常由于可见性问题低估了实际的串浆果数量，但我们证明可以使用线性回归模型进行调整（调整后的R2=0.87）。我们强调了以何种角度拍摄串对浆果计数和架构的影响，提出了不同的方法，利用浆果位置信息计算与串架构和紧密度相关的复杂特征。最后，我们讨论了SAM集成到目前葡萄园图像生成和处理管道中的潜在可能性。

解决问题：本文旨在解决葡萄串架构和紧密度这两个复杂性状对病害易感性、果实品质和产量的影响。

关键思路：本文提出了一种新的基于大规模图像数据集训练的模型SAM，可以自动分割图像中的物体而无需额外的训练。使用SAM模型，可以高精度地识别2D葡萄串图像中的个体浆果。

亮点：实验中使用了大量的图像数据集，SAM模型的预测结果与人工标注的结果高度相关；通过线性回归模型可以调整可见浆果数量与实际数量的差异；文章还探讨了浆果位置信息如何促进计算与串架架构和紧密度相关的复杂特征；SAM模型可以集成到当前可用的葡萄园图像生成和处理管道中。

相关研究：近年来，也有许多相关研究，例如：1）基于深度学习的图像分割方法；2）基于传统图像处理技术的葡萄图像分析方法。