Large-vocabulary forensic pathological analyses via prototypical cross-modal contrastive learning

法医病理学是通过尸检（包括宏观和微观）确定死亡原因和方式的关键领域。然而，该领域面临着结果可变性、繁琐的流程和受过训练的专业人员短缺等问题。本文介绍了SongCi，一种专门为法医病理学设计的创新视觉语言模型（VLM）。SongCi利用先进的原型跨模态自监督对比学习方法，提高了法医分析的准确性、效率和泛化能力。它在包括超过1600万高分辨率图像块、2228个视觉语言对尸检全切片图像（WSIs）和相应的关键发现以及471个不同诊断结果的综合多中心数据集上进行了预训练和评估。我们的研究结果表明，SongCi在许多法医病理学任务中优于现有的多模态AI模型，表现与有经验的法医病理学家相当，比没有经验的人表现显著更好，并提供详细的多模态可解释性，为法医调查提供了重要的帮助。据我们所知，SongCi是专门为法医病理学分析开发的第一个VLM，也是第一个直接处理法医科学中千兆像素WSIs的大词汇量计算病理（CPath）模型。

SongCi论文旨在为法医病理学提供一种新的视觉语言模型，以解决结果可变性、繁琐的流程和专业人员短缺等问题。

SongCi采用先进的原型跨模态自监督对比学习，提高了法医分析的准确性、效率和泛化能力。它是第一个专门为法医病理学开发的视觉语言模型，并且是第一个直接处理千兆像素WSI的大词汇计算病理学（CPath）模型。

SongCi在多项法医病理学任务中超越了现有的多模态AI模型，在经验丰富的法医病理学家中表现相当，在经验不足的人员中表现显著优于他们，并提供了详细的多模态可解释性，为法医调查提供了重要的帮助。

最近的相关研究包括：1. “Multi-modal Deep Learning for Improved Breast Cancer Diagnosis Using Multiplexed Label-free Tissue Imaging”；2. “Deep Learning for Automated Ki-67 Staining Scoring in Breast Cancer”；3. “Deep learning-based assessment of tumor-associated stroma for diagnosing breast cancer in histopathology images”等。