DINOv2 Rocks Geological Image Analysis: Classification, Segmentation, and Interpretability

本研究探讨了岩石样本CT扫描图像的可解释性、分类和分割，特别关注了DINOv2在地球科学中的应用。我们比较了各种分割技术，评估它们在地质图像分析中的功效、效率和适应性。评估的方法包括Otsu阈值法、聚类技术（K均值和模糊C均值）、监督机器学习方法（随机森林）和深度学习方法（UNet和DINOv2）。我们使用了十个二元砂岩数据集和三个多类方解石数据集来测试这些方法。首先，我们在地球科学背景下提供了对DINOv2特征的详细可解释性分析，讨论了其适用性和处理CT扫描岩石数据的固有能力。在分类方面，开箱即用的DINOv2表现出了惊人的能力，可以完美地对岩石图像进行分类，即使CT扫描不在其原始训练集中也是如此。关于分割，阈值法和无监督方法虽然快速，但表现不佳，即使进行图像预处理也是如此，而监督方法表现更好。我们强调了深度学习的计算需求，但也强调了它的最小干预、优越的泛化能力和性能，而无需额外的图像预处理。此外，我们观察到网络深度或参数数量与其性能之间缺乏相关性。我们的结果表明，经过LoRA微调的DINOv2在分布外分割方面表现出色，并在多类分割方面明显优于其他方法。通过系统比较这些方法，我们确定了一种最有效的策略，用于细致而费力的分割任务。DINOv2证明了其优势，在相对较小的训练集上实现了可以描述为“优于地面真实”的分割。

本文旨在研究CT扫描岩石样本的可解释性、分类和分割，特别关注DINOv2在地球科学中的应用。比较了各种分割技术以评估其在地质图像分析中的功效、效率和适应性。

本文采用多种分割方法对10个二元砂岩数据集和3个多类方解石数据集进行测试，包括Otsu阈值法、聚类技术（K-means和模糊C-means）、监督机器学习方法（随机森林）和深度学习方法（UNet和DINOv2）。通过系统比较这些方法，确定了细致且费力的分割任务的最有效策略。

本文对DINOv2在地球科学背景下的特征进行了全面的可解释性分析，讨论了它在处理CT扫描岩石数据方面的适用性和固有能力。研究发现，DINOv2具有完美分类岩石图像的能力，即使CT扫描不在其原始训练集中。在分割方面，阈值和无监督方法虽然快速，但表现不佳，而监督方法表现更好。研究强调了深度学习的计算需求，但强调了它的最小干预、优越的泛化和性能以及不需要额外的图像预处理。此外，研究观察到网络的深度或参数数量与其性能之间缺乏相关性。本文的实验设计合理，使用了多个数据集，并提供了开源代码。研究表明，经过微调的DINOv2在分割方面表现出色，在多类分割方面明显优于其他方法。

最近在这个领域中，还有一些相关的研究，如“Deep Learning for Rock Classification Using Seismic Data”和“Rock Classification Using Deep Learning Techniques”。