StainDiffuser: MultiTask Dual Diffusion Model for Virtual Staining

血红木素-伊红染色（H&E）是疾病诊断和肿瘤复发追踪最常用的方法。血红木素擅长突出细胞核，而伊红染色则染色细胞质。然而，H&E染色缺乏区分不同细胞类型的细节，这些细节与确定疾病级别或对特定治疗变化的反应相关。病理学家需要特殊的免疫组织化学（IHC）染色来突出不同的细胞类型。这些染色有助于准确识别疾病生长的不同区域及其与细胞微环境的相互作用。深度学习模型的出现使图像到图像（I2I）转换成为一个关键的研究领域，减少了昂贵的物理染色过程的需求。Pix2Pix和CycleGAN仍然是虚拟染色应用最常用的方法。然而，当H&E染色对IHC需要突出的潜在细胞的区分信息较少（例如CD3淋巴细胞）时，两者都会出现幻觉或染色不规则。扩散模型目前是图像生成和条件生成任务的最先进模型。然而，它们需要广泛和多样化的数据集（数百万个样本）才能收敛，这对于虚拟染色应用来说不太可行。受到多任务深度学习模型在有限数据集大小下的成功启发，我们提出了StainDiffuser，这是一种新颖的多任务双扩散架构，用于虚拟染色，可在有限的训练预算下收敛。StainDiffuser同时训练两个扩散过程：（a）从H&E生成特定细胞的IHC染色和（b）在训练期间仅使用粗分割的H&E基于细胞分割。我们的结果表明，StainDiffuser为易于染色（CK8/18，上皮标记物）和困难染色（CD3，淋巴细胞）产生高质量的结果。

论文旨在解决通过虚拟染色技术提高病理学家对疾病诊断和治疗的准确性，同时避免昂贵的物理染色过程。

论文提出了一种双扩散架构的虚拟染色模型——StainDiffuser，通过同时训练两个扩散过程来生成细胞特异性IHC染色和基于H&E的细胞分割。

论文使用了Pix2Pix和CycleGAN等常用的I2I转换方法的不足之处，提出了一种新的解决方案。实验结果表明，StainDiffuser在易于和困难的染色方面都表现出色。论文的贡献在于提出了一种可行的虚拟染色方法，使得病理学家能够更准确地诊断和治疗疾病，同时避免了昂贵的物理染色过程。

在最近的研究中，还有一些关于虚拟染色的研究。例如，一些研究使用了GAN和变分自编码器等方法来进行虚拟染色。其中一篇论文的标题是“Realistic Virtual Microscopy Image Synthesis for Enhancing Convolutional Neural Network Classification”，另一篇论文的标题是“Deep learning-based virtual H&E staining of soft-tissue sarcomas for histological diagnosis”。