Data-driven Nucleus Subclassification on Colon H&E using Style-transferred Digital Pathology

了解细胞之间的通信、共存和相互关系对于进一步理解身体功能至关重要。H&E染色广泛可用，但细胞亚型的分类通常需要专业知识和使用专门染料。为了减轻注释负担，提出了使用人工智能对H&E染色下的细胞进行分类的方法。例如，最近的结肠细胞核识别和分类（CoNIC）挑战赛专注于标记结肠H&E染色下的6种细胞类型。然而，CoNIC挑战赛无法对上皮亚型（祖细胞，肠内分泌细胞，杯状细胞），淋巴细胞亚型（B细胞，辅助T细胞，细胞毒T细胞）和结缔组织亚型（成纤维细胞）进行分类。我们使用跨模态学习来标记以前无法标记的H&E染色下的细胞亚型。我们利用多重免疫荧光（MxIF）组织学来标记14个细胞亚类。我们对同一MxIF组织进行样式转移，以合成逼真的虚拟H&E，然后将其与MxIF得到的细胞亚分类标签配对。我们评估了使用监督学习方案的有效性，其中输入是逼真质量的虚拟H&E，标签是MxIF得到的细胞亚类。我们在私人虚拟H&E和公共真实H&E上评估了我们的模型。在虚拟H&E上，当使用地面真实质心信息时，我们能够将辅助T细胞和上皮祖细胞分类，其阳性预测值分别为$0.34 \pm 0.15$（患病率$0.03 \pm 0.01$）和$0.47 \pm 0.1$（患病率$0.07 \pm 0.02$）。在真实H&E上，当使用地面真实质心信息时，我们能够将辅助T细胞和上皮祖细胞分类，其上限阳性预测值分别为$0.43 \pm 0.03$（父类患病率0.21）和$0.94 \pm 0.02$（父类患病率0.49）。这是第一项为辅助T细胞和上皮祖细胞核提供H&E染色下细胞类型分类的工作。

解决问题：论文试图通过使用多模态学习来解决在H&E下无法标记的细胞亚型的分类问题，特别是针对结肠中的6种细胞类型，以及上皮亲代细胞、淋巴细胞和结缔组织亚型。

关键思路：论文使用多模态学习，结合多重荧光免疫组化（MxIF）组织学和样式转移，将MxIF标记的14个细胞亚类标签与生成的虚拟H&E图像相结合，使用监督学习算法进行分类。

其他亮点：论文成功地在H&E下对上皮亲代细胞和辅助T细胞进行分类，同时在真实H&E图像上进行了测试。使用的数据集包括CoNIC挑战数据集和其他公共数据集。该方法可以扩展到其他细胞类型的分类。论文还开源了代码。

相关研究：最近的相关研究包括使用深度学习对细胞进行分类和使用MxIF进行多模态图像分析。