Segment Anything for Histopathology

核分割是数字病理学中一项重要的分析任务。然而，自动分割方法在处理来自不同分布的新数据时常常遇到困难，需要用户手动标注细胞核并重新训练特定于数据的模型。视觉基础模型（VFMs），如Segment Anything Model (SAM)，为自动和交互式分割提供了一个更强大的替代方案。尽管这些模型在自然图像中取得了成功，但在组织病理学中的细胞核分割方面，仍然缺乏一个基础模型。初步尝试适应SAM的工作取得了一些成功，但尚未引入一个全面适用于各种分割任务的模型。为了弥补这一差距，我们引入了PathoSAM，这是一个基于对多样化数据集进行训练的SAM的细胞核分割VFM。我们的广泛实验表明，它是自动和交互式细胞核实例分割在组织病理学领域的新前沿模型。我们还展示了它如何适应其他分割任务，包括语义细胞核分割。对于这一任务，我们证明其结果优于流行的方法，但尚未超越当前最先进水平的CellViT。我们的模型是开源的，并与流行的数据标注工具兼容。我们还提供了用于全幻灯片图像分割的脚本。我们的代码和模型公开发布在https://github.com/computational-cell-analytics/patho-sam。

该论文旨在解决数字病理学中自动核分割方法在面对不同数据分布时表现不佳的问题。当前的方法通常需要用户手动标注核并重新训练特定于数据的模型，这既耗时又低效。因此，研究者们需要一个更通用、适应性强的模型来应对这一挑战。

关键思路是通过引入PathoSAM——一种基于Vision Foundation Models (VFMs) 的新模型，特别是Segment Anything Model (SAM)，来实现更鲁棒的自动和交互式核实例分割。PathoSAM通过在一个多样化的数据集上训练SAM，以适应各种分割任务，包括语义核分割。相比现有方法，PathoSAM不仅提高了自动分割的准确性，还提供了更好的交互式分割体验。

该研究展示了PathoSAM在自动和交互式核实例分割中的优越性能，并证明了其在语义核分割任务中的竞争力。实验设计广泛，使用了多种数据集进行验证。此外，研究团队开源了代码和模型，并提供了用于全切片图像分割的脚本，便于后续研究和实际应用。未来可以进一步探索如何优化PathoSAM在更多类型病理图像上的表现。

近期在这个领域的一些相关研究包括：1. 'CellViT: Vision Transformer for Nuclei Segmentation in Histopathology Images'，该研究提出了目前语义核分割领域的最先进模型；2. 'Adapting Pre-trained Vision Models for Medical Image Segmentation'，探讨了如何将预训练视觉模型应用于医学图像分割；3. 'Interactive Segmentation of Pathological Images Using Deep Learning'，介绍了利用深度学习实现病理图像交互式分割的方法。