DRUGONE

细胞是生命系统的基本单位，而在成像数据中识别单个细胞，即细胞分割，是众多实验的核心步骤。尽管深度学习已推动该领域显著进展，但现有模型往往只能在特定数据域有效，不易跨模式泛化，难以在大规模数据上稳定扩展。研究人员提出 CellSAM，一个可跨多种细胞类型与成像模式的通用细胞分割基础模型。


CellSAM 基于 Segment Anything Model（SAM），并通过 自动生成提示信息（prompt） 实现全自动分割。研究人员训练了一个名为 CellFinder 的对象检测器来自动识别细胞位置，并将这些框提示用于 SAM 的掩膜生成。结果显示，CellSAM 在哺乳动物细胞、酵母、细菌等多数据集上达到接近人类专家水平，并在零样本和少样本情境下表现优异。此外，CellSAM 可直接用于空间转录组分析、活细胞成像与三维细胞重建等多种生物影像工作流程中。

准确的细胞分割对于组织图谱构建、基因表达空间解析、活细胞动力学分析等任务至关重要。现代成像技术可在同一视野中捕获上千个细胞，使得传统手动标注极为耗时。深度学习方法虽带来重大突破，但现有模型通常为“专用型”，只能适配特定成像模式或细胞类型，难以扩展为统一的基础模型。


SAM 在自然图像中展现出通用分割能力，但在生物医学图像中仍存在如下挑战：

  • 默认的自动提示策略（如网格点）无法处理细胞密集、不规则形态等情况；

  • 医学生物图像的模态差异巨大，难以保证稳定泛化；

  • 人工提供提示点在大量细胞情况下不可行。

因此，一个能够 自动提示 + 自动分割 + 广泛泛化 的基础模型成为关键需求。


方法

研究人员构建了一个覆盖组织切片、细胞培养、酵母、细菌以及 H&E 图像的多来源大型数据集。在此基础上，设计了 两阶段训练流程：首先训练 CellFinder 检测细胞并生成高质量框提示；随后固定视觉编码器并微调 SAM 的提示到掩膜生成模块，使其适应细胞图像特征分布。最终形成的 CellSAM 接收输入图像，经 ViT 特征提取 → CellFinder 生成框 → SAM 解码器生成实例掩膜，实现全自动细胞分割。


结果

构建用于通用细胞分割的大规模数据集

研究团队从公开文献与内部数据中汇集了多种成像模态（荧光、明场、相差、质谱成像）与多种目标（哺乳动物细胞、酵母、细菌、细胞核），并严格去重与划分数据集，确保模型泛化评估可靠。该数据集涵盖六大类型，成为 CellSAM 的训练基础。


CellSAM 使用 CellFinder 自动生成提示框

实验显示，为 SAM 提供真实框提示能显著提升细胞图像的分割准确度。因此研究人员训练 CellFinder 基于共享 ViT 特征学习细胞定位，从而作为提示自动生成模块。微调后的 CellSAM 在提供框提示时达到最优性能。


此外，两阶段训练有效解决了 ViT 特征在 CellFinder 训练后与 SAM 解码器之间的分布偏移问题。


在多数据集上实现领先性能并具备通用性

研究人员将 CellSAM 与 Cellpose 等先进方法比较，结果表明：

  • CellSAM-generalist 的表现优于所有通用版 Cellpose，也可与各专用版 Cellpose 相媲美；

  • 在不同数据类型中（组织、细胞培养、酵母、细菌、核），CellSAM 的误差均最低；

  • 在 NeurIPS 细胞分割挑战赛数据上，CellSAM 达到最佳泛化性能。

并且，在专家标注一致性对比中，CellSAM 的输出与人类专家一致性无显著差异，证明其达到了 接近人类水平的精度。


零样本与少样本学习表现强劲

CellSAM 在未见过的 LIVECell 数据集上仍保持较好性能。


当对每个细胞系提供仅约 10 个视野的少量标注后，即可显著提升表现。对于形态与训练数据差异极大的细胞系，框提示方式的限制导致性能无法完全恢复，提示未来可进一步优化提示策略。


CellSAM 适用于多种生物影像分析流程

CellSAM 作为通用模型，可直接嵌入多类工作流：

  • 空间转录组分析：通过精确细胞掩膜，可为每个细胞分配 RNA 斑点，实现单细胞空间表达量化；

  • 活细胞成像：可基于 CellSAM 的分割进行跟踪、构建细胞系谱、量化实时信号动态；

  • 三维细胞重建：通过逐层分割并整合，可生成三维细胞结构。

其稳定性使得针对罕见或新型成像模态也能直接使用，无需专门训练新模型。


讨论

CellSAM 为细胞分割提供了一个真正意义上的通用基础模型：

  • 在多模态、多生物类型数据上达到人类专家水平；

  • 显著减少数据标注成本（只需框，不需精细掩膜）；

  • 可跨任务、跨流程、跨平台直接应用；

  • 在零样本和少样本场景中展现出强大适应能力。

同时，未来仍需进一步拓展至三维成像、多通道整合、时间序列建模等方向，并研究更高效的提示生成策略。随着更多高质量标注数据的积累与模型持续优化，CellSAM 有望成为统一的生物影像解析核心基础设施。

整理 | DrugOne团队


参考资料


Marks, M., Israel, U., Dilip, R. et al. CellSAM: a foundation model for cell segmentation. Nat Methods (2025). 

https://doi.org/10.1038/s41592-025-02879-w

内容为【DrugOne】公众号原创｜转载请注明来源

内容中包含的图片若涉及版权问题，请及时与我们联系删除