HEMIT: H&E to Multiplex-immunohistochemistry Image Translation with Dual-Branch Pix2pix Generator

计算分析多重免疫荧光组织学数据正成为了了解癌症肿瘤微环境的重要方法。本研究提出了HEMIT数据集，旨在将苏木精-伊红染色（H&E）切片转化为多重免疫组织化学（mIHC）图像，其中包括DAPI、CD3和panCK标记。与众不同的是，HEMIT的mIHC图像是多组分和细胞水平与H&E对齐的，丰富了监督染色转化任务。据我们所知，HEMIT是第一个公开的细胞水平对齐数据集，可实现H&E到多目标mIHC图像的转换。该数据集为计算机视觉社区提供了宝贵的资源，以开发新的计算方法，从H&E幻灯片档案中获得新的见解。 我们还提出了一种新的双分支生成器架构，使用残差卷积神经网络和Swin变换器，实现了比其他流行算法更好的转换结果。在HEMIT上评估时，它优于pix2pixHD、pix2pix、U-Net和ResNet，在关键指标包括结构相似性指数（SSIM）、Pearson相关分数（R）和峰值信噪比（PSNR）方面获得了最高的总分。此外，下游分析已用于进一步验证生成的mIHC图像的质量。这些结果在染色转化任务领域设立了新的基准。

将H&E切片转换为多重免疫组化（mIHC）图像是一项重要的任务，但目前缺乏可用于训练和评估的数据集。本文旨在提供一个新的数据集HEMIT，用于解决这个问题。

本文提出了一种新的双分支生成器架构，使用残差卷积神经网络和Swin Transformers，可以更好地转换H&E切片到mIHC图像。这种方法在关键指标上优于其他流行算法，提供了一种有效的解决方案。

HEMIT数据集是第一个公开的细胞级别对齐数据集，可以用于H&E到多目标mIHC图像转换。实验结果表明，所提出的方法在SSIM、R和PSNR等关键指标上优于其他算法。研究者还进行了下游分析以验证生成的mIHC图像的质量。此外，数据集和代码已经开源，为该领域的研究提供了有价值的资源。

在这个领域中，最近的相关研究包括“CycleGAN-based Histology to Pathology Translation”，“Deep Learning for Multi-Task Medical Image Segmentation in Multiple Modalities”，以及“Generative Adversarial Networks for Image-to-Image Translation: A Review”。